MLPerf放榜!AI芯片公司墨芯人工智能再奪MLPerf大模型推理三項
要點:
MLPerf公布最新GPT大模型推理測試結果,墨芯人工智能S30計算卡單卡、4卡、8卡的算力均獲得第一。
墨芯通過獨創的雙稀疏算法與硬件協同設計,在GPT-J大模型上取得1.8倍于英偉達H100的性能優勢。
墨芯的成績證明,稀疏計算是大模型時代算力發展的關鍵,可根本解決大模型參數增長與算力瓶頸的矛盾。
微新創想(idea2003.com)9月15日 消息:最新MLPerf推理測試結果公布,墨芯人工智能再次奪冠,其S30計算卡在GPT-J大模型的單卡、4卡、8卡推理性能均位居第一。此前墨芯已在MLPerf上連續兩屆奪冠。
在60億參數GPT-J模型上,墨芯通過獨創的雙稀疏算法與硬件協同設計,實現了高達1.8倍于4nm制程英偉達H100的性能優勢。
墨芯的成績證明,稀疏計算技術是大模型時代的關鍵,可減少模型計算量,緩解算力需求激增、功耗過大等痛點,為大模型在參數量層面取得飛躍提供可能。墨芯已推出支持多種大模型的AI計算平臺,性能高、效率優。
業界認為,墨芯等稀疏計算創新,將引領大模型應用深入各行各業。MLPerf成績是對墨芯產品實力的肯定,也印證稀疏計算將助力大模型算力實現根本性變革。