英偉達再推超級芯片,快過H100,打臉大摩“泡沫”論
編者按:本文來自微信公眾號 硅基研究室(ID:gh_cef05ac13977),作者:白嘉嘉,微新創想經授權轉載
摩根士丹利分析師剛給英偉達貼上“泡沫”的標簽,英偉達就拿出了最新一代GH 200 Grace Hopper超級芯片平臺,證明這股AI熱并非搖搖欲墜的空中樓閣。
美東時間8月8日,在洛杉磯的SIGGRAPH大會上,英偉達發布新一代GH200 Grace Hopper超級芯片平臺,該平臺依托于搭載全球首款HBM3e處理器的Grace Hopper超級芯片(后稱GH200)。
圖源:SIGGRAPH大會
英偉達表示,新平臺旨在處理世界上最復雜的生成式AI工作負載,涵蓋大型語言模型、推薦系統和矢量數據庫,將提供多種配置。
除了超級芯片平臺,英偉達還發布了5款硬件新品和簡化企業級AI開發過程的AI workbench服務等內容。
其中,5款硬件新品分別是搭載全新L40S Ada GPU的新款OVX服務器、搭載RTX 6000 Ada GPU的全新RTX工作站,以及3款高端桌面工作站GPU。
超級芯片GH200,大小模型都能用
本次發布會上,黃仁勛照舊搬出了那句標志性的促銷口號,“買得越多,省得越多”。
同樣花1億美金,過去能買8800塊x86 CPU組成的數據中心,功耗是5MV。
在GH200面世后,這1億美金發揮出了更大的價值。通過購買2500塊GH200組成的Ios-Budget數據中心,不僅可以將功耗降低到3MV,AI推理性能更是達到了前者的12倍,折合能效提升20倍。
同等推理性能的情況下,Iso-Troughput數據中心只需用到210塊GH200,功耗是0.26MW,成本只有x86 CPU數據中心的二分之一,僅800萬美元。
圖源:SIGGRAPH大會
即便和英偉達的拳頭產品——在eBay上漲到4.5萬美元的H100相比,GH200的表現同樣讓人驚艷。
基于全球最快內存HBM3e,GH 200內存容量高達141GB,提供每秒5TB的帶寬。每個GPU容量達到H100的1.7倍,帶寬達1.55倍。
對于行業來說,更大的容量和更高的運行速度,意味著未來可以讓模型駐留在單個GPU上,而不必需要多個系統或GPU才能運行。
但這并不意味著GH 200就不適用于生成式AI的巨型模型,英偉達新發布的NVIDIA NVLink?服務器設計,對GH200進行了拓展。
NVIDIA NVLink?將允許Grace Hopper超級芯片可以與其他超級芯片連接組合,這一技術方案為GPU提供了完全訪問CPU內存的途徑。
同時,英偉達表示,目前正在開發一款新的雙GH200基礎NVIDIA MGX服務器系統,將集成兩個下一代Grace Hopper超級芯片。
在新的雙GH200服務器中,系統內的CPU和GPU將通過完全一致的內存互連進行連接,這個超級GPU可以作為一個整體運行,提供144個Grace CPU核心、8千萬億次的計算性能以及282GB的HBM3e內存。
AI Workbench,讓人人都能做大模型
除了全新的超級芯片平臺,另一項對行業起到促進作用的內容是AI Workbench。
英偉達認為,當前企業級AI的開發過程太過繁瑣和復雜,不僅需要在多個庫中尋找合適的框架和工具,當項目需要從一個基礎設施遷移到另一個基礎設施時,過程可能會變得更加具有挑戰性。
簡單來說,AI Workbench實現了企業級模型的快速打包和搬運,讓開發者既可以在個人電腦、筆記本電腦或工作站上快速創建、測試和定制生成式AI模型,也可以在必要時重新將其拓展到數據中心、公有云或NVIDIA DGX Cloud。
具體到使用上,AI Workbench提供了一個簡單的用戶界面,開發人員能夠將模型、框架、SDK等信息從開源資源整合到統一的工作區中,可以在本地計算機上運行并連接到HuggingFace、Github以及其它流行開源或商用AI代碼儲存庫。
圖源:SIGGRAPH大會
英偉達表示,使用 AI Workbench 的一些主要優勢包括:
易于使用的開發平臺。AI Workbench 通過提供單一平臺來管理數據、模型和計算資源,支持跨機器和環境的協作,從而簡化了開發流程。
與 AI 開發工具和存儲庫集成。AI Workbench 與 GitHub、NVIDIA NGC 和 Hugging Face 等服務和 Git 服務器集成,用戶可以使用 JupyterLab 和 VS Code 等工具跨平臺和基礎設施進行開發,具有高度的可重復性和透明度。
增強協作。該項目結構有助于自動化圍繞版本控制、容器管理和處理機密信息的復雜任務,同時還支持跨團隊協作。
訪問加速計算資源。AI Workbench 部署是客戶端-服務器模型,用戶能夠開始在其工作站中的本地計算資源上進行開發,并隨著訓練作業的規模擴大而轉向數據中心或云資源。
Omniverse,構建工業元宇宙
具體到工業領域,演講的另一位主角——Omniverse平臺,以及該平臺的基礎——開源通用場景描述框架OpenUSD,打開了工業元宇宙和數字孿生場景開發的想象力。
圖源:SIGGRAPH大會
一句話介紹,Omniverse平臺是一個被用于跨3D工具的連接、描述和模擬,能加快構建虛擬世界和工業數字化高級工作流程的軟件平臺。
新平臺的亮點包括更新開發原生OpenUSD應用及擴展的引擎——Omniverse Kit,以及英偉達Omniverse Audio2Face基礎應用和空間計算功能的更新。
Omniverse和模擬技術副總裁 Rev Lebaredian表示,更新后的Omniverse讓開發人員可以通過OpenUSD利用生成式AI強化他們的工具,并且讓工業企業能構建更大、更復雜的世界級模擬,作為其工業應用的數字測試場。
為了方便程序員使用,英偉達推出了一些Omniverse云API,其中包括基于NVIDIA Nemo框架的大語言模型ChatUSD、用于檢查兼容性和生成實時的完全路徑跟蹤的交互式USD文件渲染的RunUSD、語義搜索服務DeepSearch。
黃仁勛宣布,比亞迪和梅賽德斯·奔馳合資的豪華電動汽車品牌騰勢(DENZA)已與營銷及通信巨頭WPP合作,在NVIDIA Omniverse Cloud上構建和部署其下一代先進汽車配置器。
除了上述介紹的這些新產品及更新,英偉達還推出了配備全新NVIDIA L40S GPU的NVIDIA OVX服務器,可用于加速AI訓練和推理、3D設計和可視化、視頻處理和工業數字化等復雜的計算密集型應用;
搭載RTX 6000 Ada GPU的全新NVIDIA RTX工作站,系統可配置NVIDIA AI Enterprise或Omniverse Enterprise軟件,以支持各種苛刻的生成式AI和圖形密集型工作負載;
企業軟件平臺NVIDIA AI enterprise 4.0,可提供生產就緒型生成式AI工具,并提供了可靠的生產部署所需的安全性和API穩定性。
顯然,這位大模型時代的寵兒正在用硬實力證明,英偉達并不只是芯片生產商,而是不折不扣的模型開發平臺,而層出不窮的新產品和服務,則一次又一次地坐實了企業作為AI普惠核心推動者的身份。
日前,AMD發布了對標H100的MI300X,在容量和帶寬上實現了反超,意圖在“缺芯”的背景下分食英偉達的市場,但隨著GH200發布,AMD的算盤是否還能在極致性價比的沖擊下起效?
一個現實是,在群狼環伺的AI戰場上,硬件、生態兩手抓的英偉達,目前還沒發現真正的對手。
參考資料:
英偉達超級芯片GH200 Grace明年Q2投產,黃仁勛稱“AI時代,英偉達的技術可以替代傳統數據中心”|王錚Silvia
老黃又來“搶錢”:英偉達再推超強芯片平臺,守住萬億芯片老大擂臺|硅星人
昨夜,黃仁勛甩出最強生成式AI處理器,全球首發HBM3e,比H100還快|智東西
NVIDIA Keynote at SIGGRAPH 2023
本文為專欄作者授權微新創想發表,版權歸原作者所有。文章系作者個人觀點,不代表微新創想立場,轉載請聯系原作者。如有任何疑問,請聯系http://www.i0562.net/。