聲明:本文來自于微信公眾號 三易生活（ID:IT-3eLife），作者:三易菌，授權(quán)微新創(chuàng)想轉(zhuǎn)載發(fā)布。

AI大模型無疑是2023年的關(guān)鍵詞，更是各大科技廠商競逐的熱門賽道。然而象征著未來的AI大模型實(shí)在太費(fèi)錢，以至于財(cái)大氣粗如微軟都開始考慮“Plan B”了。近日有爆料信息顯示，在微軟內(nèi)部由Peter Lee領(lǐng)導(dǎo)的1500人研究團(tuán)隊(duì)中，有一部分人轉(zhuǎn)向研發(fā)全新的LLM，它的體積更小、運(yùn)營成本也低得多。

關(guān)于微軟的小尺寸AI模型，實(shí)際上在3個(gè)月前就已經(jīng)初見端倪。此前在今年6月，微軟方面發(fā)布了一篇題為《Textbooks Are All You Need》的論文，用規(guī)模僅為70億token的“教科書級別”數(shù)據(jù)訓(xùn)練了一個(gè)13億參數(shù)的模型phi-1，證明高質(zhì)量的小規(guī)模數(shù)據(jù)一樣能夠讓模型具備良好的性能。并且在phi-1的基礎(chǔ)上，此前微軟研究院還發(fā)布了名為phi-1.5的全新預(yù)訓(xùn)練語言模型，可適用于QA問答、聊天格式和代碼等場景。

根據(jù)微軟方面的說法，在測試常識、語言理解和邏輯推理的基準(zhǔn)下，phi-1.5的表現(xiàn)超出了相當(dāng)一部分大模型。phi-1.5在帶LM-Eval Harness的GPT4AL跑分套件中，可以媲美Meta旗下?lián)碛?0億參數(shù)的開源大模型llama-2，在AGIEval得分上甚至超過了llama-2。

為什么微軟要突然做小尺寸的AI模型呢?首要因素被外界認(rèn)為可能是與OpenAI之間的糾葛。作為OpenAI的“金主”，微軟能夠在旗下產(chǎn)品中永久使用OpenAI現(xiàn)有知識產(chǎn)權(quán)的獨(dú)家權(quán)利，但這也并不代表他們就能控制OpenAI。所以對于微軟這樣的巨頭而言，無論是出于自身戰(zhàn)略安全的考量，還是為了在后續(xù)與OpenAI的合作關(guān)系中占據(jù)更有利的地位，開發(fā)高質(zhì)量的LLM都是一個(gè)必選項(xiàng)。

當(dāng)然，目前AI大模型實(shí)在太耗能也是關(guān)鍵因素之一。在今年年初的設(shè)計(jì)自動化大會上，AMD首席技術(shù)官M(fèi)ark Papermaster就展示了一張幻燈片，顯示機(jī)器學(xué)習(xí)系統(tǒng)的能耗與全球發(fā)電情況的對比。根據(jù)國際能源署估計(jì)，訓(xùn)練大模型的數(shù)據(jù)中心變得越來越耗電，其用電量占全球電力消耗的1.5%至2%，大致相當(dāng)于整個(gè)英國的用電量，預(yù)計(jì)2030年這個(gè)比例將上升到4%。

根據(jù)Digital Information World發(fā)布的相關(guān)報(bào)告顯示，數(shù)據(jù)中心為訓(xùn)練AI模型產(chǎn)生的能耗將為常規(guī)云服務(wù)的三倍，到2028年數(shù)據(jù)中心功耗將接近4250兆瓦、比2023年增加212倍。而OpenAI訓(xùn)練GPT-3的耗電量為1.287吉瓦時(shí)，大約相當(dāng)于120個(gè)美國家庭1年的用電量。但這還僅僅只是訓(xùn)練AI模型的前期電耗，僅占模型實(shí)際使用時(shí)所消耗電力的40%。

事實(shí)上，訓(xùn)練AI大模型不僅耗能、還費(fèi)水。在谷歌方面發(fā)布的2023年環(huán)境報(bào)告中就顯示，他們2022年消耗了56億加侖（約212億升）的水，相當(dāng)于37個(gè)高爾夫球場，其中52億加侖用于該公司的數(shù)據(jù)中心、比2021年增加了20%。

但AI大模型的高能耗是非常正常的，用ARM高級技術(shù)總監(jiān)Ian Bratt的話來說，就是“AI計(jì)算需求是沒法滿足的。網(wǎng)絡(luò)規(guī)模越大、結(jié)果就越好，可以解決的問題也越多，電力使用與網(wǎng)絡(luò)規(guī)模成正比?！?/p>

有AI從業(yè)者表示，在此次疫情前，訓(xùn)練一個(gè)Transformer模型所需的能耗在27千瓦時(shí)的范圍內(nèi)，但現(xiàn)在Transformer模型的參數(shù)從5000萬增加到了2億，能耗也已經(jīng)超過了50萬千瓦時(shí)。也就是說，參數(shù)的數(shù)量增加了四倍，可能耗卻增加了超過18000倍。從某種意義上來說，AI大模型帶來的種種創(chuàng)新功能，其實(shí)都是以處理性能和功耗方面的高昂成本為代價(jià)。

更多的電力驅(qū)動更多的GPU進(jìn)行AI訓(xùn)練，又要大量消耗水資源來冷卻GPU，這就是問題所在。以至于微軟被曝光正在制定一個(gè)路線圖，希望用小型核反應(yīng)堆產(chǎn)生的電能來運(yùn)營數(shù)據(jù)中心。更何況即便不提ESG（“環(huán)境、社會及管治”），單純從成本層面出發(fā)，研究小尺寸模型也是有價(jià)值的。

眾所周知，搭建了CUDA生態(tài)的英偉達(dá)是這一輪AI熱潮中的最大受益者，更是已經(jīng)占據(jù)了AI芯片市場的70%，如今H100、A100等計(jì)算卡更可謂是一卡難求?？涩F(xiàn)在的情況，是向英偉達(dá)購買算力已經(jīng)成為了一個(gè)推高AI廠商成本的重要因素。所以小尺寸模型也就意味著需要的算力資源更少，只需購買更少的GPU就能解決問題。

雖然功能更強(qiáng)的大模型確實(shí)很好，但現(xiàn)在大模型的商業(yè)化還處于蒙昧狀態(tài)，唯一賺得盆滿缽滿的是“買鏟子”的英偉達(dá)。所以在這樣的情況下，微軟自然也就有意來改變現(xiàn)狀了。