鐵幕下的大模型
泡沫和廝殺的加速器
編者按:本文來自微信公眾號 星船知造(ID:xingchuanzhizao),作者:唐曉園、錢伽諾,微新創想經授權轉載,頭圖來源攝圖網
一則來自美國的消息暫時打破了此岸AI大模型創業者和資本們時而亢奮時而抑郁、時而趨之若鶩時而謹慎保守的敘事節奏。
美國《華爾街日報》27日援引知情人士消息稱,美國商務部可能最快在下月初采取行動,禁止英偉達等芯片制造商在事先未獲得許可證的情況下,向中國和其他相關國家的客戶出口芯片。
英偉達今年年初剛對公司旗艦芯片進行了調整,以符合向中國出口的法規。
據路透社29日消息稱,英偉達首席財務官科萊特?克雷斯表示:
“從長遠來看,如果實施禁止向中國出售我們的數據中心圖形處理單元(GPU)的限制措施,將導致美國產業永久喪失在全球最大市場之一競爭和領先的機會,并對我們未來的業務和財務業績產生影響。”
01 無盡前沿的回響
1945年,美國二戰時期工程師范內瓦·布什,如同穿越者一般向白宮遞交了一份報告。70多年來,這份報告對美國科研決策和發展的影響綿延至今。
《21年美國創新與競爭法案》被認為是對《科學:無盡的前沿》中主要觀點的延申和致敬。
報告核心觀點:一是從戰略上明確科技立國。明確美國要在“醫學和基礎科學研究”、“涉及國家安全的研究”等方面重點投入科研。
二是為了達到這個目標,政府該扮演怎樣的角色。首先政府應堅定投入公共資金支持基礎研究。其次是注重長期回報,在不計成本培養科學人才的同時,鼓勵企業加大科研投入等。
今天的環境與冷戰時期和熱戰時期又截然不同。隨著以ChatGPT為代表的生成類AI大模型的橫空出世,“國產大模型是否存在自主可控”的問題在中美人工智能領域存在差距的現實背景下被頻頻提及。
作為一種生成邏輯,與其說大模型的自主可控,不如說“算力平臺的自主可控”和“確保國家數據主權”。
星船知造文章《算力時代下的中國云:讀懂中國式現代化必要的數字底層》中寫過:數據是數字經濟時代重要生產要素。《中華人民共和國數據安全法》中明確指出,數據是國家基礎性戰略資源,沒有數據安全就沒有國家安全。
中國目前正通過建設自主可控的數字基礎設施,來保障國家數據安全。確保核心數據始終掌握在自己手中。
中美在人工智能領域的一些差距是顯而易見的。
主要體現在以下幾個方面 (更多可點擊《星船知造ChatGPT技術架構及中國人工智能未來發展趨勢報告》或后臺回復關鍵詞“白皮書”,下載高清完整版報告)
首先是中國在AI芯片上的落后。
AI芯片引進方面:美國此前將特定高性能芯片、高性能計算芯片加入了商業管制清單。其中就包括AI最主要的英偉達A100和H100系列以及AMD的MR1250等高性能人工智能芯片。
6月28日,據《華爾街日報》周二援引知情人士的話稱,美國正在考慮對向中國出口人工智能芯片實施新的限制。
在以ChatGPT為代表的生成類AI大模型中,對于AI芯片的要求更高,包括要求更高速的內存帶寬、更大的內存容量以及更加高效的數據通信帶寬。
集成電路芯片加工領域:臺積電已經可以生產3納米的芯片,目前中國芯片制造排名第一的中芯國際,生產14納米的芯片,差距十分明顯。
其次是美國對華出口AI芯片速率方面的限制。
OpenAI不僅使用本公司的物理服務器和數據中心,同時也會使用微軟位于華盛頓鳳凰城,德州圣安東尼等多個異地的超算中心。然后將結果同步到自己的計算機上,以達到加速訓練和提高模型性能。AI芯片的高速互聯的性能指標,對于人工智能大模型的訓練將會起到至關重要的作用。
美國政府對華出口的英偉達公司AI芯片輸出速率加以了嚴格限制,明確提到了要限制600GP/秒互聯寬帶以上的AI芯片的出口。
英偉達公司因此為了繼續能向中國出口AI芯片,賺取利潤同時又不違反美國政府的管制要求,向中國提供特供版的A800芯片,用于替代A100芯片。A800的高速互聯通信速率降為了400GB/秒,而美國本土使用的A100產品的高速互聯通信速率為600GB/秒,這種降級指標會對AI系統的性能造成很大的影響。
再者是芯片加工是阻礙我國大模型進展的一環。
目前英偉達A100芯片是采用臺積電7納米工藝制作完成,而M1250采用的是臺積電6納米工藝,英偉達H100采用的則是臺積電的4納米工藝,第四代的NVlink GPU之間的傳輸速率達到了900GB每秒。美國政府限制對華出口AI芯片,就是利用技術手段有針對性遏制我國人工智能和大模型訓練模型的步伐,保證美國始終處于人工智能發展的制高點。
NVIDIA 護城河是從應用、軟件、到硬件的一整個生態系統。
除開硬件對中國算力的部分掣肘,發展人工智能三大要素:數據、算法、算力中的另兩樣——
數據層面,到2022年底,中國網民接近11億。每次對互聯網的觸摸,都是對某類青澀數據的填補。作為擁有全球最大規模網民群體的國家,我們在數據和應用場景上保有優勢。(更多可點擊《全國人民用20年為中國互聯網找到解題新思路》)。
算法層面,國內科研機構和企業大煉千億級大模型,底層算法中國并不落后。
另一個問題就是,任何攻堅都要花大錢。
據OpenAI 測算,訓練一次ChatGPT模型的算力成本在450萬美元左右,還只是計算硬件投入的成本,不包括人工成本、網絡寬帶成本、數據儲存、固定資產折舊等的綜合成本。比如OpenAI訓練GPT3的費用可高達1200萬美元,訓練GPT-4成本可高達1億美元。
人力成本和運維成本支出也占據總成本很大一部分,OpenAI就雇傭了大量第三世界國家的外包員工來完成指定的優化任務降低人工成本。
對于創業公司來說,融個幾億都不夠燒的。
初創后很長一段時間里,OpenAI都是一家非營利組織。之后的橫空出世,一靠微軟輸入巨資,二靠背靠巨頭帶來的業務加持。
今年春節前后,被大模型出圈首先刺激到的,是創業者和投資人。
02 浪潮之下,泡沫和廝殺的加速器
抑郁和焦慮如同一對雙生子。最開始的癥狀則表現為亢奮。
GPT從3.5到4.0僅歷時105天。但仍比不上中國創業者的速度。《中國人工智能大模型地圖研究報告》顯示,截至今年5月,中國已發布了79個人工智能大模型。王小川4月宣布創業,6月產品就出來了。光年之外更是在幾個月的時間內完成了從成立、融資、創始人抑郁、被收購的一整個過程。
大模型的亢奮還在。但回頭看看元宇宙……某地剛爭到“元宇宙第一城”的名號,元宇宙就在大模型的映襯下看起來像涼了。
去年此時PPT上的元宇宙造車還沒搞明白,今天已經鋪天蓋地自動駕駛大模型了。
某位不愿透露姓名的投資人在參加完一場以大模型和人工智能相關項目為主的路演后對我們表示,大部分項目提到的“大模型”定義都相當含糊,聽上去換個別的詞也OK,比如大數據、虛擬人。
曾借元宇宙概念炒作的事物將在大模型時代加速涼透。但元宇宙本身具備殺手級應用一切特征的本質不會改變。從包含的技術、已有的政策扶持、可能的產業落地回看,元宇宙都沒有理由被大模型擠得徹底褪去熱度。
包括上海在內,目前全國各地仍在出臺政策扶持當地的元宇宙產業。今年6月《上海市“元宇宙”關鍵技術攻關行動方案(2023—2025年)》印發,明確提出以沉浸式技術與Web3技術為兩大主攻方向。
目前大模型能帶來的商業回報誰也不敢保證,但極度燒錢是確定的——資本因此呈現出狂熱和謹慎的兩面性。
ChatGPT1早在五年前就已發布。同時AIGC(AI-Generated Content 人工智能生成內容)也早在ChatGPT3.5爆火的22年底之前,就已憑借去年的“AI繪畫”獲得一定關注。借助AIGC技術,可進行文章、視頻創作、音頻剪輯、游戲開發等工作。只是其熱度始終沒有真正破圈。
無視AIGC的投資人同樣在去年年底無視了ChatGPT。直到今年春節后,再聊不上幾句GPT就會徹底暴露自己在新一輪科技周期中的無知——一場圍繞新周期的狂熱才就此展開。
歷時5年
另一些投資人則忘不掉幾年前人工智能領域泡沫破裂的慘狀。畢竟,從2015年開始,每一年都會被稱為人工智能元年。有人說,對付泡沫的有效方法,就是用另一個泡沫取代它,也叫“嵌套式泡沫”。
回報是不確定的,商業模式是不確定的,只有風險是明確的。
資本市場最先感受到不確定帶來的涼意。昆侖萬維、科大訊飛、360等AI概念股自6月26日開始下挫。
SimilarWeb數據顯示的ChatGPT平臺訪問量增速放緩的背后(1月的環比增長131.6%,到2月與3月的60%左右,再到4月接近跌破10%,5月則僅增長2.8%),是人們對其新鮮感的大幅減弱。
03 擁抱、反噬,風險和缺陷
百度集團執行副總裁、百度智能云事業群總裁沈抖說:大模型出現前的AI像氧氣——有價值,但自己不會燃燒,必須找到可燃物才能發揮價值。“可燃物”,就是落地場景。
五道口和陸家嘴的咖啡館里,人們都在聊大模型和AI。但誰也不知道該先進哪個車間。
制造業企業數智化轉型的剛需仍然是降本增效。并且不會輕易交出行業數據。
星船知造在對國內服裝制造企業的走訪中,以及對移動機器人全場景應用者快倉等企業的溝通中,發現企業自動化及數字化布局時呈現明顯的區域特點:比如,長三角和珠三角地區紡織服裝企業對自動化和數字化的熱情要高于內陸地區。
主要由兩方面決定:一是當地的用人成本。二是企業本身的品牌定位需求。
部分企業受到淘寶等互聯網公司的推動進行轉型布局。
我們也從數位游戲業內人士處了解到,游戲行業在 AIGC 和元宇宙探索多年,AI一個比較大的應用落地方向是“游戲中對NPC的優化”。通過相關技術讓NPC和用戶進行更生動的互動,增加游戲真實感。
微軟 GDC2023 上,分享了Azure OpenAI 在游戲 NPC 中應用的三大方向:游戲虛擬玩家、游戲虛擬主播、游戲 NPC 動態互動。
文章最后,加入一個使用GPT的彩蛋。大家注意避免在使用中碰到人工智障(AI,Artificial Idiot)、誤聯網(Internet of Error)和深度瞎學(Deep Blind Learning)。
首先是比較ChatGPT3.5和GPT4的區別?
以及別忘了GPT-4作為系列中的過渡版本,已暴露出很多缺陷,存在的缺陷與風險主要體現在以下幾個方面:
首先是ChatGPT在道德和法律方面的違規行為。
ChatGPT對信息、數據來源無法進行核實、核查和驗證,可能存在個人數據與商業秘密被泄露,引起竊取他人信息的道德問題和提供虛假信息兩大隱患。
ChatGPT涉及的法律風險不限于以下幾種:
著作權:生成的內容可能會侵犯他人的著作權。
隱私權:使用ChatGPT 可能需要提供一些個人信息,存在泄露個人隱私風險。
信息誤導:生成的內容可能不準確或有誤導性和歧視性。
侵權違規:ChatGPT生成的內容可能侵犯他人的合法權益,如商標權、出版權、著作權、專利權等。
商標侵權:ChatGPT 生成的圖像和視頻內容可能涉及商標侵權。
人身攻擊:ChatGPT 生成的內容可能涉及對宗教和人身攻擊,違反社會倫理道德。
偏激誹謗:使用 ChatGPT 生成的內容可能侮辱他人,可能涉及偏激、誹謗等法律問題。
其次是ChatGPT提供大量虛假信息。
ChatGPT常常一本正經的胡說八道,這是ChatGPT目前被人詬病的一個主要缺點,這就為不法分子惡意訓練或誤導人工智能,使其提供詐騙信息、釣魚網站等內容,損害公民人身和財產安全創造了條件。
第三是GPT-4 引用數據同樣不能實時更新。
目前GPT-4在生成性預訓練中使用的數據與ChatGPT3.5的數據都是2021年底前的網絡數據,不能與互聯網實時聯網調用數據,因此在回答2022年以后的問題時無法得到有效支撐,造成信息的誤導。
第四是不善于討論未來。
盡管GPT-4似乎可以對已經發生的事情進行推理,做出相對正確的回答,但當被要求對未來做出假設時,回答就有點答非所問,根本無法提出全新的想法。
最后,ChatGPT信息監管迫在眉睫
ChatGPT在建立語料庫、生成文本時,大量使用并非公開的開源代碼,或未辦理許可證申請,可能會導致侵權。因此各國政府對ChatGPT必須要考慮建立相關的監管機制迫在眉睫,防止產生不良的社會影響。
參考資料:
[1]ChatGPT翻開了硬幣的哪一面?北京郵電大學人工智能學院教授鄧偉洪、中國信通院云大所有內容科技部副主任石霖
[2]《ChatGPT技術架構及我國人工智能未來發展策略的研究》 星船知造
[3]OpenAI官網(ChatGPT:優化對話的語言模型 (OpenAI.com))
[4]Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)
[5]Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)
[6]ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)
[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)
[8]Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)
[9]《中國人工智能大模型地圖研究報告》中國科學技術信息研究所、科技部新一代人工智能發展研究中心
本文基于訪談及公開資料寫作,不構成任何投資建議
本文為星船知造原創內容
未經授權,禁止轉載
本文為專欄作者授權微新創想發表,版權歸原作者所有。文章系作者個人觀點,不代表微新創想立場,轉載請聯系原作者。如有任何疑問,請聯系http://www.i0562.net/。