智源研究院開源 AI 硬件評測引擎FlagPerf v1.0
微新創想(idea2003.com) 9月28日 消息:智源研究院發布了 FlagPerf v1.0，這是一個開源開放的 AI 硬件評測引擎。
FlagPerf 的評測指標體系包括功能正確性指標、性能指標、資源使用指標和生態適配指標。其中，功能正確性指標驗證芯片對模型運行的支持，性能指標評估芯片的訓練時間和計算吞吐量，資源使用指標衡量芯片和服務器其他零部件的使用情況，生態適配指標考察芯片對不同框架和軟件生態的支持能力。
FlagPerf 已經涵蓋了自然語言處理、計算機視覺、語音和多模態等領域的20余個經典模型，50余個訓練樣例，并與多家 AI 軟硬件廠商進行深度合作，完成了與不同芯片和框架的適配和評測。
此外，FlagPerf 還支持多樣例場景和任務，覆蓋大模型訓練推理場景。它不僅支持多種訓練框架和推理引擎，還支持多種測試環境，包括單卡、單機和多機，以全面評估 AI 芯片的性能和適用性。
在評測過程中，FlagPerf 嚴格審核參評代碼，確保結果公平、過程公正。所有測試代碼都已開源，測試過程和數據可復現。
FlagPerf 開源項目:https://github.com/FlagOpen/FlagPerf
