編者按：本文來自微信公眾號(hào) 騰訊科技（ID:qqtech），作者：金鹿，編輯：郝博陽，微新創(chuàng)想經(jīng)授權(quán)轉(zhuǎn)載。

去年年底，當(dāng)聊天機(jī)器人ChatGPT開始在全球引發(fā)轟動(dòng)的時(shí)候，人工智能研究公司OpenAI的工程師們就已經(jīng)開始著手研究新的人工智能模型，并為其取代號(hào)Arrakis。

OpenAI CEO Sam Altman

盡管OpenAI利用大語言模型（LLM）GPT-4提升了ChatGPT的性能，但Arrakis模型將使該公司能夠以更低的成本運(yùn)行聊天機(jī)器人。Arrakis的成功也將幫助OpenAI向微軟展示其連續(xù)創(chuàng)建大語言模型的超能力，這對(duì)兩家公司完成100億美元投資和產(chǎn)品合作談判都具有重要意義。

但據(jù)知情人士透露，到2023年中期，OpenAI取消了Arrakis的發(fā)布，因?yàn)樵撃Ｐ偷倪\(yùn)行效率并沒有公司預(yù)期的那么高。這一失誤意味著，OpenAI失去了許多寶貴的發(fā)展時(shí)間，并需要將資源轉(zhuǎn)移到開發(fā)不同的模型上。此外，此次失敗也讓微軟的多位高管感到失望，因?yàn)楹笳咴ㄙM(fèi)巨資購買了在其產(chǎn)品中使用OpenAI新技術(shù)的權(quán)限。

Arrakis項(xiàng)目受挫可能打破OpenAI不可戰(zhàn)勝的光環(huán)。此前，OpenAI擊敗了人工智能先驅(qū)谷歌，并打造了歷史上增長最快的軟件業(yè)務(wù)之一。這表明，人工智能的前沿領(lǐng)域充滿了難以預(yù)測(cè)的陷阱。

雖然Arrakis的問題并沒有拖累OpenAI今年的業(yè)務(wù)，但隨著推出新大語言模型的競(jìng)爭(zhēng)加劇，這家初創(chuàng)公司可能會(huì)在明年感受到影響。例如，谷歌即將推出人工智能模型Gemini，并希望其能在編碼和其他能力以及響應(yīng)的準(zhǔn)確性方面擊敗GPT-4。

就OpenAI而言，該公司繼續(xù)對(duì)其業(yè)界領(lǐng)先的模型進(jìn)行改進(jìn)，包括解碼圖像的能力，并計(jì)劃在11月份宣布一系列新功能。大語言模型是ChatGPT等產(chǎn)品的基礎(chǔ)，OpenAI內(nèi)部甚至認(rèn)為其有可能成為一種操作系統(tǒng)，包括用于個(gè)人設(shè)備，因?yàn)檫@些模型能夠編寫代碼、理解圖像和檢索文件等。

得益于GPT-4帶來的巨大優(yōu)勢(shì)，OpenAI的業(yè)務(wù)迅速膨脹。OpenAI之所以能達(dá)到年化13億美元的收入（遠(yuǎn)高于去年全年的2800萬美元），主要?dú)w功于GPT-4，它為ChatGPT的付費(fèi)版本提供動(dòng)力。在今年第二季度出售員工股份后，OpenAI的賬面價(jià)值約為300億美元，但該公司正試圖大幅提高這一估值。

01 表現(xiàn)不及預(yù)期被叫停

據(jù)知情人士透露，OpenAI從去年秋天開始開發(fā)Arrakis，希望開發(fā)出一種與GPT-4能力相當(dāng)?shù)\(yùn)行效率更高的模型，部分原因是利用了機(jī)器學(xué)習(xí)領(lǐng)域所謂的稀疏性(Sparsity)。稀疏性指的是模型具有非常大的容量，但只有模型用于給定任務(wù)、樣本或標(biāo)記的某些部分被激活。這樣，能夠顯著增加模型容量和能力，而不必成比例增加計(jì)算量。

谷歌等其他人工智能開發(fā)商也公開討論了他們對(duì)稀疏性的使用，OpenAI成功地將這個(gè)概念納入了早期的軟件中。他們說，Arrakis將允許OpenAI更廣泛地推廣其技術(shù)，因?yàn)樵摴究梢允褂脭?shù)量有限的專用服務(wù)器芯片來為其軟件提供支持。

到了今年春天，OpenAI的研究人員開始訓(xùn)練其新模型，其中包括使用先進(jìn)的計(jì)算硬件來幫助模型處理大量數(shù)據(jù)，以便它能夠?qū)W習(xí)其中的模式。知情人士說，OpenAI預(yù)計(jì)這將比訓(xùn)練GPT-4的成本低得多。然而員工們很早就意識(shí)到該模式的表現(xiàn)不夠好，無法獲得預(yù)期的效果。在員工們花了大約一個(gè)月的時(shí)間試圖解決這些問題后，OpenAI管理層決定叫停這個(gè)項(xiàng)目。

不過，盡管遭遇挫折，OpenAI仍然可以將其在Arrakis上的工作整合到其他模型中。其中包括即將推出的模型Gobi，它可以生成或分析文本和視覺效果，也被稱為多模態(tài)模型。

兩位知情人士表示，OpenAI曾試圖提高模型的稀疏性從而降低運(yùn)行成本，但Arrakis的表現(xiàn)依然低于該公司的預(yù)期。這個(gè)模型在早期測(cè)試中表現(xiàn)不錯(cuò)，但其在之后的測(cè)試中表現(xiàn)不佳的原因尚不清楚。

一位知情人士說，Arrakis是以《沙丘》系列中一顆沙漠星球命名的，這是對(duì)模型設(shè)計(jì)中使用稀疏性的一種象征。OpenAI其他模型的代號(hào)（包括Gobi和Sahara），其公開為GPT-3.5 Turbo，也使用了類似的沙漠象征，以反映OpenAI正努力使模型變得稀疏。

類似這種感覺

兩位知情人士表示，自從Arrakis項(xiàng)目失敗后，OpenAI研究人員開始轉(zhuǎn)向開發(fā)新版本的GPT-4，以期更快地對(duì)用戶需求進(jìn)行響應(yīng)。其中一位知情人士說，OpenAI曾討論將更新后的模型稱為GPT-4 Turbo，這也是OpenAI在Arrakis失敗之前考慮過的對(duì)外名稱。

對(duì)于OpenAI來說，隨著人們對(duì)該技術(shù)成本的擔(dān)憂日益加劇，以及開源替代方案的激增，讓其模型變得更便宜、更高效是他們的當(dāng)務(wù)之急。OpenAI發(fā)言人未予置評(píng)。

知情人士表示，微軟使用OpenAI的GPT模型來支持Office 365應(yīng)用和其他服務(wù)中的人工智能功能，并預(yù)計(jì)Arrakis將提高性能并降低這些功能的成本。微軟搜索引擎必應(yīng)依靠GPT-4和其他模型為類似ChatGPT的聊天機(jī)器人提供支持，該公司原本希望在2023年初就能用上Arrakis模型，但這個(gè)目標(biāo)最終未能實(shí)現(xiàn)。

這次升級(jí)失敗在商業(yè)上可能給微軟帶來了很大損失。因?yàn)楹芸赡茉谠缙诎l(fā)布產(chǎn)品時(shí)，微軟是按照該計(jì)劃可成功的預(yù)期進(jìn)行定價(jià)的。根據(jù)華爾街日?qǐng)?bào)的報(bào)道，微軟的拳頭AI產(chǎn)品GitHub Copilot定價(jià)10美元，而平均每個(gè)月在每個(gè)用戶身上都要倒貼20美元，最高能達(dá)80美元。這表明，微軟一個(gè)月在這一款軟件中的虧損就高達(dá)3000萬美元，一年虧損預(yù)計(jì)過億。

據(jù)悉，自那以后，微軟始終致力于開發(fā)其他大語言模型。與OpenAI相比，這些大模型的運(yùn)行成本可能更低。

02 降低成本成未來趨勢(shì)

許多行業(yè)從業(yè)者預(yù)計(jì)，稀疏性模型能夠降低人工智能開發(fā)成本。在今年8月的一次會(huì)議上，谷歌首席科學(xué)家、Gemini人工智能模型的主要開發(fā)者杰夫·迪恩(Jeff Dean)表示，未來幾年，該行業(yè)將朝著稀疏性模型的方向發(fā)展。

與Llama 2等“更密集”的模型不同，稀疏性模型只調(diào)用模型內(nèi)的某些計(jì)算，即完成任務(wù)所需的參數(shù)，使該過程更具成本效益。迪恩說：“稀疏計(jì)算將是未來的一個(gè)重要趨勢(shì)！”

許多人工智能從業(yè)者說，增加稀疏性的一種方法是通過一種被稱為“混合專家模型”的技術(shù)。在這種技術(shù)中，大型模型的特定部分被訓(xùn)練來處理某些任務(wù)。換句話說，這些子模型成為執(zhí)行這些任務(wù)的專家，這樣就不需要觸發(fā)整個(gè)模型。知情人士稱，OpenAI將這項(xiàng)技術(shù)納入了GPT-4, Arrakis也會(huì)這樣做。

GPT4是由多專家模型組成的稀疏模型

加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)教授伊安·斯托伊卡(Ion Stoica)在一封電子郵件中寫道：“一般來說，專家模型的數(shù)量越多，模型就越稀疏，效率也越高。然而，這也可能會(huì)導(dǎo)致結(jié)果不那么準(zhǔn)確。”

參考資料

OpenAI Dropped Work on New ‘Arrakis’ AI Model in Rare Setback — The Information

本文為專欄作者授權(quán)微新創(chuàng)想發(fā)表，版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn)，不代表微新創(chuàng)想立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問，請(qǐng)聯(lián)系http://www.i0562.net/。