谷歌 Transformer 論文合著者在東京創辦人工智能公司 Sakana AI
微新創想(idea2003.com) 8月21日消息:如今,生成式人工智能的格局正處于快速發展的狀態,不僅與 OpenAI、Meta 和 Google 在基礎模型上直接競爭,而且在他們一些最優秀的內部人才離開去推出產品的同時他們自己的一代人工智能初創公司。
David Ha 和 Llion Jones 是兩位著名的前谷歌研究人員(其中 Llion Jones 是「Transformer」人工智能架構的共同發明者,David Ha 曾擔任 Stability AI 的研究主管)上周四宣布,他們已經啟動了一個研究總部位于東京的新人工智能公司——Sakana AI。
Jones 是谷歌 2017 年研究論文《Attention Is All You Need》的第五作者。該研究論文介紹了基于「Transformer」的深度學習架構,成為病毒式聊天機器人 ChatGPT 和當前競相開發生成式人工智能產品的基礎。
在這篇著名論文發表之后,生成式人工智能基礎模型的發展集中在制造越來越大的「Transformer」——基于模型,而 Sakana AI 將專注于為基礎模型創建新的架構。
「我們的方法可能不是構建一個吸取所有數據的巨大模型,而是使用大量更小的模型,每個模型都有自己獨特的優勢和較小的數據集,讓這些模型相互通信并共同解決問題,」David Ha 說,盡管他表示這只是一個想法。
David Ha 在接受彭博社采訪時表示:「螞蟻四處走動,動態地自行形成一座橋梁,這可能不是最堅固的橋梁,但它們可以立即做到這一點并適應環境。」「我認為這種適應是我們在自然算法中看到的非常強大的概念之一。」
兩位創始人告訴 FT,Sakana 這個名字源自日語中的「魚」一詞(さかな),意思是「一群魚聚集在一起,通過簡單的規則形成一個連貫的實體」。
《Attention Is All You Need》論文的所有作者現已離開谷歌。作者的新創企業已經吸引了來自風投機構的數百萬美元的投資,其中包括運行 AI 聊天機器人初創企業Character.AI 的 Noam Shazeer 和創立大型語言模型初創企業 Cohere 的 Aidan Gomez。