清華芯片新突破登Science,獲評“存算一體領域重大進展”!基于類腦架構實現片上快速AI學習
聲明:本文來自于微信公眾號 量子位(ID:QbitAI),作者:明敏,授權微新創想轉載發布。
清華最新芯片成果,登上Science!
全球首顆全系統集成、支持高效片上學習的憶阻器存算一體芯片,正式問世。
它集合了記憶、計算和學習能力。
能在片上快速完成不同任務的模型訓練。
而能耗僅為先進工藝下ASIC的1/35,能效有望提升75倍,同時兼顧保護隱私。
這就是由清華大學集成電路學院吳華強教授、高濱副教授團隊帶來的最新成果。
相關話題已經登頂知乎熱榜。
Science編輯評價其為:
存算一體領域的重要進展。
芯片內搞定AI訓練
正如人類大腦能夠基于預先接受過的知識,快速學習新場景中的新知識。
邊緣設備也需要具備類似的學習能力,才能更好適應用戶習慣和新場景。
但是目前神經網絡訓練需要將大量數據在計算和存儲單元之間來回移動。這使得在邊緣設備上很難高效進行訓練任務。
基于憶阻器內存高速訪問、斷電后仍可保存數據的特性,可以實現內存+硬盤二合一,解決數據的大量移動,從而進一步實現了完全在芯片上進行學習任務。
由此,清華團隊提出憶阻器存算一體芯片。
它集成了高性能憶阻器陣列和必備模塊,同時也是一塊類腦計算芯片(neuro-inspired computing chip)。
為此,研究團隊提出了一種新型通用算法和架構(STELLAR)。
它利用憶阻器的特性,通過僅計算正負號、預定義閾值、循環調諧等設計,提升正向傳播算法映射到芯片硬件上的效率,從而實現了高效率、低功耗的片上學習。
研究人員通過幾個實驗來驗證片上學習的能力。
第一個實驗中,有一臺追蹤光點的小車。在進行提升學習前,小車在明亮場景中會跟丟光點。
而通過500個訓練樣本進行端側學習后,小車在明亮和黑暗場景中都能很好完成任務。
從下圖D中可以看到,小車在明亮場景下的得分從原來的0.602提升到了0.912。
另一個實驗是進行圖像識別。
實驗步驟是先讓基本模型識別數字“0”和“2-9”,然后讓模型學習識別數字一個新類別的“1”。
結果可以看到,在經過150次訓練后,進行提升學習能將準確度從7%提升到93%。
研究團隊十余年攻堅
本次成果來自清華大學集成電路學院吳華強教授、高濱副教授團隊。
吳華強教授現任清華大學集成電路學院院長、清華大學微納加工中心主任。
2005年在美國康奈爾大學(Cornell University)電子與計算機工程學院獲工學博士學位。隨后先后在美國Spansion公司和美國Primet Precision Materials公司分別擔任高級工程師和技術主管。
2009年,加入清華大學微電子學研究所。
研究方向為新型存儲器及基于憶阻器的存算一體,涵蓋從器件、工藝集成、架構、算法、芯片以及系統等多個層次。
高濱副教授于2013年獲得北京大學微電子與固體電子學專業力學博士學位,2015年加入清華大學微納電子系。
研究方向為新型存儲器,器件模型與模擬,設計-工藝協同優化,存算一體與神經形態芯片,信息安全芯片。
張文彬、姚鵬作為學術論文的第一作者。
實際上,關于該方向的存算一體芯片,清華團隊已經探索了十余年。
2012年,錢鶴、吳華強團隊開始研究用憶阻器來做存儲。研究團隊最初在實驗室中探索憶阻器器件的一致性和良率。
2014年,清華大學與中科院微電子所、北京大學等單位合作,優化憶阻器的器件工藝,制備出高性能憶阻器陣列——這一次提出的最新成果中已應用。
2020年,錢鶴、吳華強團隊基于多陣列憶阻器,搭建了一個全硬件構成的完整存算一體系統,在這個系統上高效運行了卷積神經網絡算法,成功驗證了圖像識別功能,比圖形處理器芯片的能效高兩個數量級,大幅提升了計算設備的算力,實現了以更小的功耗和更低的硬件成本完成復雜的計算。
如今,隨著大模型趨勢到來,AI算力瓶頸問題更加突出,存算一體等新方案也備受關注。
Science編輯表示,基于憶阻器的芯片技術近期受到非常大的關注,它有望克服馮諾依曼架構造成的算力瓶頸。
論文地址:
https://www.science.org/doi/abs/10.1126/science.ade3483