鐵幕下的大模型
泡沫和廝殺的加速器
編者按:本文來(lái)自微信公眾號(hào) 星船知造(ID:xingchuanzhizao),作者:唐曉園、錢伽諾,微新創(chuàng)想經(jīng)授權(quán)轉(zhuǎn)載,頭圖來(lái)源攝圖網(wǎng)
一則來(lái)自美國(guó)的消息暫時(shí)打破了此岸AI大模型創(chuàng)業(yè)者和資本們時(shí)而亢奮時(shí)而抑郁、時(shí)而趨之若鶩時(shí)而謹(jǐn)慎保守的敘事節(jié)奏。
美國(guó)《華爾街日?qǐng)?bào)》27日援引知情人士消息稱,美國(guó)商務(wù)部可能最快在下月初采取行動(dòng),禁止英偉達(dá)等芯片制造商在事先未獲得許可證的情況下,向中國(guó)和其他相關(guān)國(guó)家的客戶出口芯片。
英偉達(dá)今年年初剛對(duì)公司旗艦芯片進(jìn)行了調(diào)整,以符合向中國(guó)出口的法規(guī)。
據(jù)路透社29日消息稱,英偉達(dá)首席財(cái)務(wù)官科萊特?克雷斯表示:
“從長(zhǎng)遠(yuǎn)來(lái)看,如果實(shí)施禁止向中國(guó)出售我們的數(shù)據(jù)中心圖形處理單元(GPU)的限制措施,將導(dǎo)致美國(guó)產(chǎn)業(yè)永久喪失在全球最大市場(chǎng)之一競(jìng)爭(zhēng)和領(lǐng)先的機(jī)會(huì),并對(duì)我們未來(lái)的業(yè)務(wù)和財(cái)務(wù)業(yè)績(jī)產(chǎn)生影響。”
01 無(wú)盡前沿的回響
1945年,美國(guó)二戰(zhàn)時(shí)期工程師范內(nèi)瓦·布什,如同穿越者一般向白宮遞交了一份報(bào)告。70多年來(lái),這份報(bào)告對(duì)美國(guó)科研決策和發(fā)展的影響綿延至今。
《21年美國(guó)創(chuàng)新與競(jìng)爭(zhēng)法案》被認(rèn)為是對(duì)《科學(xué):無(wú)盡的前沿》中主要觀點(diǎn)的延申和致敬。
報(bào)告核心觀點(diǎn):一是從戰(zhàn)略上明確科技立國(guó)。明確美國(guó)要在“醫(yī)學(xué)和基礎(chǔ)科學(xué)研究”、“涉及國(guó)家安全的研究”等方面重點(diǎn)投入科研。
二是為了達(dá)到這個(gè)目標(biāo),政府該扮演怎樣的角色。首先政府應(yīng)堅(jiān)定投入公共資金支持基礎(chǔ)研究。其次是注重長(zhǎng)期回報(bào),在不計(jì)成本培養(yǎng)科學(xué)人才的同時(shí),鼓勵(lì)企業(yè)加大科研投入等。
今天的環(huán)境與冷戰(zhàn)時(shí)期和熱戰(zhàn)時(shí)期又截然不同。隨著以ChatGPT為代表的生成類AI大模型的橫空出世,“國(guó)產(chǎn)大模型是否存在自主可控”的問題在中美人工智能領(lǐng)域存在差距的現(xiàn)實(shí)背景下被頻頻提及。
作為一種生成邏輯,與其說(shuō)大模型的自主可控,不如說(shuō)“算力平臺(tái)的自主可控”和“確保國(guó)家數(shù)據(jù)主權(quán)”。
星船知造文章《算力時(shí)代下的中國(guó)云:讀懂中國(guó)式現(xiàn)代化必要的數(shù)字底層》中寫過(guò):數(shù)據(jù)是數(shù)字經(jīng)濟(jì)時(shí)代重要生產(chǎn)要素。《中華人民共和國(guó)數(shù)據(jù)安全法》中明確指出,數(shù)據(jù)是國(guó)家基礎(chǔ)性戰(zhàn)略資源,沒有數(shù)據(jù)安全就沒有國(guó)家安全。
中國(guó)目前正通過(guò)建設(shè)自主可控的數(shù)字基礎(chǔ)設(shè)施,來(lái)保障國(guó)家數(shù)據(jù)安全。確保核心數(shù)據(jù)始終掌握在自己手中。
中美在人工智能領(lǐng)域的一些差距是顯而易見的。
主要體現(xiàn)在以下幾個(gè)方面 (更多可點(diǎn)擊《星船知造ChatGPT技術(shù)架構(gòu)及中國(guó)人工智能未來(lái)發(fā)展趨勢(shì)報(bào)告》或后臺(tái)回復(fù)關(guān)鍵詞“白皮書”,下載高清完整版報(bào)告)
首先是中國(guó)在AI芯片上的落后。
AI芯片引進(jìn)方面:美國(guó)此前將特定高性能芯片、高性能計(jì)算芯片加入了商業(yè)管制清單。其中就包括AI最主要的英偉達(dá)A100和H100系列以及AMD的MR1250等高性能人工智能芯片。
6月28日,據(jù)《華爾街日?qǐng)?bào)》周二援引知情人士的話稱,美國(guó)正在考慮對(duì)向中國(guó)出口人工智能芯片實(shí)施新的限制。
在以ChatGPT為代表的生成類AI大模型中,對(duì)于AI芯片的要求更高,包括要求更高速的內(nèi)存帶寬、更大的內(nèi)存容量以及更加高效的數(shù)據(jù)通信帶寬。
集成電路芯片加工領(lǐng)域:臺(tái)積電已經(jīng)可以生產(chǎn)3納米的芯片,目前中國(guó)芯片制造排名第一的中芯國(guó)際,生產(chǎn)14納米的芯片,差距十分明顯。
其次是美國(guó)對(duì)華出口AI芯片速率方面的限制。
OpenAI不僅使用本公司的物理服務(wù)器和數(shù)據(jù)中心,同時(shí)也會(huì)使用微軟位于華盛頓鳳凰城,德州圣安東尼等多個(gè)異地的超算中心。然后將結(jié)果同步到自己的計(jì)算機(jī)上,以達(dá)到加速訓(xùn)練和提高模型性能。AI芯片的高速互聯(lián)的性能指標(biāo),對(duì)于人工智能大模型的訓(xùn)練將會(huì)起到至關(guān)重要的作用。
美國(guó)政府對(duì)華出口的英偉達(dá)公司AI芯片輸出速率加以了嚴(yán)格限制,明確提到了要限制600GP/秒互聯(lián)寬帶以上的AI芯片的出口。
英偉達(dá)公司因此為了繼續(xù)能向中國(guó)出口AI芯片,賺取利潤(rùn)同時(shí)又不違反美國(guó)政府的管制要求,向中國(guó)提供特供版的A800芯片,用于替代A100芯片。A800的高速互聯(lián)通信速率降為了400GB/秒,而美國(guó)本土使用的A100產(chǎn)品的高速互聯(lián)通信速率為600GB/秒,這種降級(jí)指標(biāo)會(huì)對(duì)AI系統(tǒng)的性能造成很大的影響。
再者是芯片加工是阻礙我國(guó)大模型進(jìn)展的一環(huán)。
目前英偉達(dá)A100芯片是采用臺(tái)積電7納米工藝制作完成,而M1250采用的是臺(tái)積電6納米工藝,英偉達(dá)H100采用的則是臺(tái)積電的4納米工藝,第四代的NVlink GPU之間的傳輸速率達(dá)到了900GB每秒。美國(guó)政府限制對(duì)華出口AI芯片,就是利用技術(shù)手段有針對(duì)性遏制我國(guó)人工智能和大模型訓(xùn)練模型的步伐,保證美國(guó)始終處于人工智能發(fā)展的制高點(diǎn)。
NVIDIA 護(hù)城河是從應(yīng)用、軟件、到硬件的一整個(gè)生態(tài)系統(tǒng)。
除開硬件對(duì)中國(guó)算力的部分掣肘,發(fā)展人工智能三大要素:數(shù)據(jù)、算法、算力中的另兩樣——
數(shù)據(jù)層面,到2022年底,中國(guó)網(wǎng)民接近11億。每次對(duì)互聯(lián)網(wǎng)的觸摸,都是對(duì)某類青澀數(shù)據(jù)的填補(bǔ)。作為擁有全球最大規(guī)模網(wǎng)民群體的國(guó)家,我們?cè)跀?shù)據(jù)和應(yīng)用場(chǎng)景上保有優(yōu)勢(shì)。(更多可點(diǎn)擊《全國(guó)人民用20年為中國(guó)互聯(lián)網(wǎng)找到解題新思路》)。
算法層面,國(guó)內(nèi)科研機(jī)構(gòu)和企業(yè)大煉千億級(jí)大模型,底層算法中國(guó)并不落后。
另一個(gè)問題就是,任何攻堅(jiān)都要花大錢。
據(jù)OpenAI 測(cè)算,訓(xùn)練一次ChatGPT模型的算力成本在450萬(wàn)美元左右,還只是計(jì)算硬件投入的成本,不包括人工成本、網(wǎng)絡(luò)寬帶成本、數(shù)據(jù)儲(chǔ)存、固定資產(chǎn)折舊等的綜合成本。比如OpenAI訓(xùn)練GPT3的費(fèi)用可高達(dá)1200萬(wàn)美元,訓(xùn)練GPT-4成本可高達(dá)1億美元。
人力成本和運(yùn)維成本支出也占據(jù)總成本很大一部分,OpenAI就雇傭了大量第三世界國(guó)家的外包員工來(lái)完成指定的優(yōu)化任務(wù)降低人工成本。
對(duì)于創(chuàng)業(yè)公司來(lái)說(shuō),融個(gè)幾億都不夠燒的。
初創(chuàng)后很長(zhǎng)一段時(shí)間里,OpenAI都是一家非營(yíng)利組織。之后的橫空出世,一靠微軟輸入巨資,二靠背靠巨頭帶來(lái)的業(yè)務(wù)加持。
今年春節(jié)前后,被大模型出圈首先刺激到的,是創(chuàng)業(yè)者和投資人。
02 浪潮之下,泡沫和廝殺的加速器
抑郁和焦慮如同一對(duì)雙生子。最開始的癥狀則表現(xiàn)為亢奮。
GPT從3.5到4.0僅歷時(shí)105天。但仍比不上中國(guó)創(chuàng)業(yè)者的速度。《中國(guó)人工智能大模型地圖研究報(bào)告》顯示,截至今年5月,中國(guó)已發(fā)布了79個(gè)人工智能大模型。王小川4月宣布創(chuàng)業(yè),6月產(chǎn)品就出來(lái)了。光年之外更是在幾個(gè)月的時(shí)間內(nèi)完成了從成立、融資、創(chuàng)始人抑郁、被收購(gòu)的一整個(gè)過(guò)程。
大模型的亢奮還在。但回頭看看元宇宙……某地剛爭(zhēng)到“元宇宙第一城”的名號(hào),元宇宙就在大模型的映襯下看起來(lái)像涼了。
去年此時(shí)PPT上的元宇宙造車還沒搞明白,今天已經(jīng)鋪天蓋地自動(dòng)駕駛大模型了。
某位不愿透露姓名的投資人在參加完一場(chǎng)以大模型和人工智能相關(guān)項(xiàng)目為主的路演后對(duì)我們表示,大部分項(xiàng)目提到的“大模型”定義都相當(dāng)含糊,聽上去換個(gè)別的詞也OK,比如大數(shù)據(jù)、虛擬人。
曾借元宇宙概念炒作的事物將在大模型時(shí)代加速?zèng)鐾浮5钪姹旧砭邆錃⑹旨?jí)應(yīng)用一切特征的本質(zhì)不會(huì)改變。從包含的技術(shù)、已有的政策扶持、可能的產(chǎn)業(yè)落地回看,元宇宙都沒有理由被大模型擠得徹底褪去熱度。
包括上海在內(nèi),目前全國(guó)各地仍在出臺(tái)政策扶持當(dāng)?shù)氐脑钪娈a(chǎn)業(yè)。今年6月《上海市“元宇宙”關(guān)鍵技術(shù)攻關(guān)行動(dòng)方案(2023—2025年)》印發(fā),明確提出以沉浸式技術(shù)與Web3技術(shù)為兩大主攻方向。
目前大模型能帶來(lái)的商業(yè)回報(bào)誰(shuí)也不敢保證,但極度燒錢是確定的——資本因此呈現(xiàn)出狂熱和謹(jǐn)慎的兩面性。
ChatGPT1早在五年前就已發(fā)布。同時(shí)AIGC(AI-Generated Content 人工智能生成內(nèi)容)也早在ChatGPT3.5爆火的22年底之前,就已憑借去年的“AI繪畫”獲得一定關(guān)注。借助AIGC技術(shù),可進(jìn)行文章、視頻創(chuàng)作、音頻剪輯、游戲開發(fā)等工作。只是其熱度始終沒有真正破圈。
無(wú)視AIGC的投資人同樣在去年年底無(wú)視了ChatGPT。直到今年春節(jié)后,再聊不上幾句GPT就會(huì)徹底暴露自己在新一輪科技周期中的無(wú)知——一場(chǎng)圍繞新周期的狂熱才就此展開。
歷時(shí)5年
另一些投資人則忘不掉幾年前人工智能領(lǐng)域泡沫破裂的慘狀。畢竟,從2015年開始,每一年都會(huì)被稱為人工智能元年。有人說(shuō),對(duì)付泡沫的有效方法,就是用另一個(gè)泡沫取代它,也叫“嵌套式泡沫”。
回報(bào)是不確定的,商業(yè)模式是不確定的,只有風(fēng)險(xiǎn)是明確的。
資本市場(chǎng)最先感受到不確定帶來(lái)的涼意。昆侖萬(wàn)維、科大訊飛、360等AI概念股自6月26日開始下挫。
SimilarWeb數(shù)據(jù)顯示的ChatGPT平臺(tái)訪問量增速放緩的背后(1月的環(huán)比增長(zhǎng)131.6%,到2月與3月的60%左右,再到4月接近跌破10%,5月則僅增長(zhǎng)2.8%),是人們對(duì)其新鮮感的大幅減弱。
03 擁抱、反噬,風(fēng)險(xiǎn)和缺陷
百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖說(shuō):大模型出現(xiàn)前的AI像氧氣——有價(jià)值,但自己不會(huì)燃燒,必須找到可燃物才能發(fā)揮價(jià)值。“可燃物”,就是落地場(chǎng)景。
五道口和陸家嘴的咖啡館里,人們都在聊大模型和AI。但誰(shuí)也不知道該先進(jìn)哪個(gè)車間。
制造業(yè)企業(yè)數(shù)智化轉(zhuǎn)型的剛需仍然是降本增效。并且不會(huì)輕易交出行業(yè)數(shù)據(jù)。
星船知造在對(duì)國(guó)內(nèi)服裝制造企業(yè)的走訪中,以及對(duì)移動(dòng)機(jī)器人全場(chǎng)景應(yīng)用者快倉(cāng)等企業(yè)的溝通中,發(fā)現(xiàn)企業(yè)自動(dòng)化及數(shù)字化布局時(shí)呈現(xiàn)明顯的區(qū)域特點(diǎn):比如,長(zhǎng)三角和珠三角地區(qū)紡織服裝企業(yè)對(duì)自動(dòng)化和數(shù)字化的熱情要高于內(nèi)陸地區(qū)。
主要由兩方面決定:一是當(dāng)?shù)氐挠萌顺杀尽6瞧髽I(yè)本身的品牌定位需求。
部分企業(yè)受到淘寶等互聯(lián)網(wǎng)公司的推動(dòng)進(jìn)行轉(zhuǎn)型布局。
我們也從數(shù)位游戲業(yè)內(nèi)人士處了解到,游戲行業(yè)在 AIGC 和元宇宙探索多年,AI一個(gè)比較大的應(yīng)用落地方向是“游戲中對(duì)NPC的優(yōu)化”。通過(guò)相關(guān)技術(shù)讓NPC和用戶進(jìn)行更生動(dòng)的互動(dòng),增加游戲真實(shí)感。
微軟 GDC2023 上,分享了Azure OpenAI 在游戲 NPC 中應(yīng)用的三大方向:游戲虛擬玩家、游戲虛擬主播、游戲 NPC 動(dòng)態(tài)互動(dòng)。
文章最后,加入一個(gè)使用GPT的彩蛋。大家注意避免在使用中碰到人工智障(AI,Artificial Idiot)、誤聯(lián)網(wǎng)(Internet of Error)和深度瞎學(xué)(Deep Blind Learning)。
首先是比較ChatGPT3.5和GPT4的區(qū)別?
以及別忘了GPT-4作為系列中的過(guò)渡版本,已暴露出很多缺陷,存在的缺陷與風(fēng)險(xiǎn)主要體現(xiàn)在以下幾個(gè)方面:
首先是ChatGPT在道德和法律方面的違規(guī)行為。
ChatGPT對(duì)信息、數(shù)據(jù)來(lái)源無(wú)法進(jìn)行核實(shí)、核查和驗(yàn)證,可能存在個(gè)人數(shù)據(jù)與商業(yè)秘密被泄露,引起竊取他人信息的道德問題和提供虛假信息兩大隱患。
ChatGPT涉及的法律風(fēng)險(xiǎn)不限于以下幾種:
著作權(quán):生成的內(nèi)容可能會(huì)侵犯他人的著作權(quán)。
隱私權(quán):使用ChatGPT 可能需要提供一些個(gè)人信息,存在泄露個(gè)人隱私風(fēng)險(xiǎn)。
信息誤導(dǎo):生成的內(nèi)容可能不準(zhǔn)確或有誤導(dǎo)性和歧視性。
侵權(quán)違規(guī):ChatGPT生成的內(nèi)容可能侵犯他人的合法權(quán)益,如商標(biāo)權(quán)、出版權(quán)、著作權(quán)、專利權(quán)等。
商標(biāo)侵權(quán):ChatGPT 生成的圖像和視頻內(nèi)容可能涉及商標(biāo)侵權(quán)。
人身攻擊:ChatGPT 生成的內(nèi)容可能涉及對(duì)宗教和人身攻擊,違反社會(huì)倫理道德。
偏激誹謗:使用 ChatGPT 生成的內(nèi)容可能侮辱他人,可能涉及偏激、誹謗等法律問題。
其次是ChatGPT提供大量虛假信息。
ChatGPT常常一本正經(jīng)的胡說(shuō)八道,這是ChatGPT目前被人詬病的一個(gè)主要缺點(diǎn),這就為不法分子惡意訓(xùn)練或誤導(dǎo)人工智能,使其提供詐騙信息、釣魚網(wǎng)站等內(nèi)容,損害公民人身和財(cái)產(chǎn)安全創(chuàng)造了條件。
第三是GPT-4 引用數(shù)據(jù)同樣不能實(shí)時(shí)更新。
目前GPT-4在生成性預(yù)訓(xùn)練中使用的數(shù)據(jù)與ChatGPT3.5的數(shù)據(jù)都是2021年底前的網(wǎng)絡(luò)數(shù)據(jù),不能與互聯(lián)網(wǎng)實(shí)時(shí)聯(lián)網(wǎng)調(diào)用數(shù)據(jù),因此在回答2022年以后的問題時(shí)無(wú)法得到有效支撐,造成信息的誤導(dǎo)。
第四是不善于討論未來(lái)。
盡管GPT-4似乎可以對(duì)已經(jīng)發(fā)生的事情進(jìn)行推理,做出相對(duì)正確的回答,但當(dāng)被要求對(duì)未來(lái)做出假設(shè)時(shí),回答就有點(diǎn)答非所問,根本無(wú)法提出全新的想法。
最后,ChatGPT信息監(jiān)管迫在眉睫
ChatGPT在建立語(yǔ)料庫(kù)、生成文本時(shí),大量使用并非公開的開源代碼,或未辦理許可證申請(qǐng),可能會(huì)導(dǎo)致侵權(quán)。因此各國(guó)政府對(duì)ChatGPT必須要考慮建立相關(guān)的監(jiān)管機(jī)制迫在眉睫,防止產(chǎn)生不良的社會(huì)影響。
參考資料:
[1]ChatGPT翻開了硬幣的哪一面?北京郵電大學(xué)人工智能學(xué)院教授鄧偉洪、中國(guó)信通院云大所有內(nèi)容科技部副主任石霖
[2]《ChatGPT技術(shù)架構(gòu)及我國(guó)人工智能未來(lái)發(fā)展策略的研究》 星船知造
[3]OpenAI官網(wǎng)(ChatGPT:優(yōu)化對(duì)話的語(yǔ)言模型 (OpenAI.com))
[4]Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)
[5]Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)
[6]ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)
[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)
[8]Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)
[9]《中國(guó)人工智能大模型地圖研究報(bào)告》中國(guó)科學(xué)技術(shù)信息研究所、科技部新一代人工智能發(fā)展研究中心
本文基于訪談及公開資料寫作,不構(gòu)成任何投資建議
本文為星船知造原創(chuàng)內(nèi)容
未經(jīng)授權(quán),禁止轉(zhuǎn)載
本文為專欄作者授權(quán)微新創(chuàng)想發(fā)表,版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn),不代表微新創(chuàng)想立場(chǎng),轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問,請(qǐng)聯(lián)系http://www.i0562.net/。