要點:

• 微軟論文爆料GPT-3.5的參數量僅為20B，遠小于之前官方宣布的1750億，引發廣泛關注和爭議。

• 微軟的論文介紹了一個小規模擴散模型CodeFusion，性能出色，只有7500萬參數，與大型模型相媲美。

• 論文討論了CodeFusion模型的架構和性能表現，對GPT-3.5的真實參數量提出了質疑，但仍需等待官方開源數據揭曉。

微新創想（idea2003.com）10月31日 消息:最近，微軟的一篇論文引發了廣泛討論，揭示了GPT-3.5的真實參數量可能只有20B，遠遠小于之前官方宣布的1750億。這一曝料在AI圈內引起了巨大的震動，讓人們開始重新評估這一龐大模型的性能和潛力。此論文還介紹了一個小型擴散模型CodeFusion，它只有7500萬參數，但在性能方面與大型模型相媲美，引發了人們對模型規模與性能之間的關系的思考。

CodeFusion是一個用于代碼生成的模型，經過兩個階段的訓練，使用無監督預訓練和有監督微調的方法，不斷提升其性能。在性能評估中，CodeFusion在top-1準確率方面表現出色，尤其在Python任務中，幾乎與GPT-3（175B參數）相媲美。而在top-3和top-5設置下，CodeFusion明顯優于其他基線模型。

論文地址:https://arxiv.org/pdf/2310.17680.pdf

然而，最引人關注的是GPT-3.5的參數量。以前人們普遍認為它有1750億參數，但這篇論文聲稱它只有20B。這個巨大的參數量差異引發了廣泛的猜測和討論。一些人認為這可能是作者的手誤，但也有人認為這一參數估計是準確的，因為一些小型模型在性能上與GPT-3.5相媲美。此外，還有人提出了對GPT-3.5的性能和參數量進行更深入研究的問題，以更好地理解這一龐大模型。

盡管這一論文引發了許多爭議，但我們仍需等待官方的數據披露以確定GPT-3.5的真實參數量。這個問題引發了關于模型規模與性能之間關系的深刻思考，以及對GPT-3.5是一個小專家模型的集成還是通才模型的質疑。這一爭議仍在繼續，只有等待更多信息的揭曉才能解開謎團。