要點:

• 微軟論文爆料GPT-3.5的參數(shù)量僅為20B，遠(yuǎn)小于之前官方宣布的1750億，引發(fā)廣泛關(guān)注和爭議。

• 微軟的論文介紹了一個小規(guī)模擴(kuò)散模型CodeFusion，性能出色，只有7500萬參數(shù)，與大型模型相媲美。

• 論文討論了CodeFusion模型的架構(gòu)和性能表現(xiàn)，對GPT-3.5的真實參數(shù)量提出了質(zhì)疑，但仍需等待官方開源數(shù)據(jù)揭曉。

微新創(chuàng)想（idea2003.com）10月31日 消息:最近，微軟的一篇論文引發(fā)了廣泛討論，揭示了GPT-3.5的真實參數(shù)量可能只有20B，遠(yuǎn)遠(yuǎn)小于之前官方宣布的1750億。這一曝料在AI圈內(nèi)引起了巨大的震動，讓人們開始重新評估這一龐大模型的性能和潛力。此論文還介紹了一個小型擴(kuò)散模型CodeFusion，它只有7500萬參數(shù)，但在性能方面與大型模型相媲美，引發(fā)了人們對模型規(guī)模與性能之間的關(guān)系的思考。

CodeFusion是一個用于代碼生成的模型，經(jīng)過兩個階段的訓(xùn)練，使用無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)的方法，不斷提升其性能。在性能評估中，CodeFusion在top-1準(zhǔn)確率方面表現(xiàn)出色，尤其在Python任務(wù)中，幾乎與GPT-3（175B參數(shù)）相媲美。而在top-3和top-5設(shè)置下，CodeFusion明顯優(yōu)于其他基線模型。

論文地址:https://arxiv.org/pdf/2310.17680.pdf

然而，最引人關(guān)注的是GPT-3.5的參數(shù)量。以前人們普遍認(rèn)為它有1750億參數(shù)，但這篇論文聲稱它只有20B。這個巨大的參數(shù)量差異引發(fā)了廣泛的猜測和討論。一些人認(rèn)為這可能是作者的手誤，但也有人認(rèn)為這一參數(shù)估計是準(zhǔn)確的，因為一些小型模型在性能上與GPT-3.5相媲美。此外，還有人提出了對GPT-3.5的性能和參數(shù)量進(jìn)行更深入研究的問題，以更好地理解這一龐大模型。

盡管這一論文引發(fā)了許多爭議，但我們?nèi)孕璧却俜降臄?shù)據(jù)披露以確定GPT-3.5的真實參數(shù)量。這個問題引發(fā)了關(guān)于模型規(guī)模與性能之間關(guān)系的深刻思考，以及對GPT-3.5是一個小專家模型的集成還是通才模型的質(zhì)疑。這一爭議仍在繼續(xù)，只有等待更多信息的揭曉才能解開謎團(tuán)。