編者按：本文來自微信公眾號(hào) 硅基研習(xí)社（ID：gh_8448ad119f2e），作者：王一川，編輯：戴老板，微新創(chuàng)想經(jīng)授權(quán)轉(zhuǎn)載。

2023年8月3日，華爾街和硅谷聯(lián)袂奉上了一件震撼業(yè)界的大事：讓一家創(chuàng)業(yè)公司拿到23億美元的債務(wù)融資，抵押物則是當(dāng)前全球最硬的通貨——H100顯卡。

這個(gè)大事件的主角叫做CoreWeave，主營業(yè)務(wù)是AI私有云服務(wù)，簡單說就是通過搭建擁有大量GPU算力的數(shù)據(jù)中心，來給AI創(chuàng)業(yè)公司和大型商業(yè)客戶提供算力基礎(chǔ)設(shè)施。CoreWeave累計(jì)融資5.8億美金，目前是B輪，估值20億美元。

CoreWeave成立于2016年，創(chuàng)始人是三個(gè)華爾街大宗商品交易員。剛開始公司的主營業(yè)務(wù)只有一個(gè)：挖礦，采購大量GPU來組建礦機(jī)中心，尤其是在幣圈低潮時(shí)，公司會(huì)逆周期囤大量顯卡，也因此跟英偉達(dá)建立了鐵桿的革命友誼。

CoreWeave三位聯(lián)合創(chuàng)始人

2019年，CoreWeave開始把這些礦機(jī)改造成企業(yè)級(jí)數(shù)據(jù)中心，向客戶提供AI云服務(wù)，剛開始的生意也不溫不火，但ChatGPT誕生之后，大模型的訓(xùn)練和推理每天都在消耗大量算力，已經(jīng)擁有數(shù)萬張顯卡（當(dāng)然未必是最新型號(hào)）的CoreWeave嗖的一下起飛，門口擠滿了客戶和風(fēng)投。

但令人感到蹊蹺的是：CoreWeave累計(jì)一共只融到了5.8億美金，賬面GPU的凈值不會(huì)超過10億美元，甚至公司整體估值也只有20億美元，但為何卻能通過抵押借到23億美元呢？一向精于算計(jì)、熱衷對抵押物價(jià)值膝蓋斬的華爾街，為何如此慷慨呢？

原因極有可能是：CoreWeave雖然賬上還沒這么多顯卡，但它拿到了英偉達(dá)的供貨承諾，尤其是H100。

CoreWeave跟英偉達(dá)的鐵桿關(guān)系已經(jīng)是硅谷公開的秘密。這種鐵桿根源于CoreWeave對英偉達(dá)的毫無二心的忠誠和支持——只用英偉達(dá)的卡、堅(jiān)決不自己造芯、顯卡賣不動(dòng)時(shí)幫英偉達(dá)囤卡。對黃仁勛來說，這種關(guān)系的含金量，遠(yuǎn)超跟微軟、Google和特斯拉的那些塑料友情。

因此，盡管英偉達(dá)H100十分緊缺，英偉達(dá)還是把大量新卡分配給了CoreWeave，甚至不惜限制對亞馬遜和谷歌等大廠的供應(yīng)。黃仁勛在電話會(huì)議里夸贊：“一批新的GPU云服務(wù)提供商會(huì)崛起，其中最著名的是 CoreWeave，他們做得非常好。”

而在喜提23億美金的一周前，CoreWeave就已對外宣稱，將耗資16億美元在德州建立一個(gè)占地面積42,000 平方米的數(shù)據(jù)中心。僅憑借跟英偉達(dá)之間的關(guān)系和優(yōu)先配貨權(quán)，CoreWeave就可以把建數(shù)據(jù)中心的錢從銀行里借出來——這種模式，讓人想起了拿地后立馬找銀行貸款的地產(chǎn)商。

所以可以這樣說：當(dāng)下一份H100的供貨承諾，堪比房地產(chǎn)黃金時(shí)代的一紙土地批文。

一卡難求的H100

今年4月在接受采訪時(shí)，馬斯克抱怨道[2]：“現(xiàn)在似乎連狗都在買GPU。”

很諷刺的是，特斯拉早在2021年就發(fā)布了自研的D1芯片，由臺(tái)積電代工，采用7nm工藝，號(hào)稱能替代當(dāng)時(shí)英偉達(dá)主流的A100。但2年過去了，英偉達(dá)推出了更為強(qiáng)大的H100，而特斯拉的D1沒有后續(xù)迭代，因此當(dāng)馬斯克試圖組建自家的人工智能公司時(shí)，還是得乖乖地跪在黃老爺門前求卡。

H100在去年9月20日正式推出，由臺(tái)積電4N工藝代工。相較于前任A100，H100單卡在推理速度上提升3.5倍，在訓(xùn)練速度上提升2.3倍；如果用服務(wù)器集群運(yùn)算的方式，訓(xùn)練速度更是能提高到9倍，原本一個(gè)星期的工作量，現(xiàn)在只需要20個(gè)小時(shí)。

GH100 架構(gòu)圖

相比A100，H100的單卡價(jià)格更貴，大約是A100的1.5～2倍左右，但訓(xùn)練大模型的效率卻提升了200%，這樣這算下來的“單美元性能”更高。如果搭配英偉達(dá)最新的高速連接系統(tǒng)方案，每美元的GPU性能可能要高出 4-5 倍，因此受到客戶瘋狂追捧。

搶購H100的客戶，主要分成三類：

第一類是綜合型云計(jì)算巨頭，比如微軟Azure、谷歌GCP和亞馬遜AWS這樣的云計(jì)算巨頭。他們的特點(diǎn)是財(cái)大氣粗，動(dòng)輒就想“包圓”英偉達(dá)的產(chǎn)能，但每家也都藏著小心思，對英偉達(dá)的近壟斷地位感到不滿，暗地里自己研發(fā)芯片來降低成本。

第二類是獨(dú)立的云GPU服務(wù)商，典型公司如前文提到的CoreWeave，以及Lambda、RunPod等。這類公司算力規(guī)模相對較小，但能夠提供差異化的服務(wù)，而英偉達(dá)對這類公司也是大力扶持，甚至直接出錢投資了CoreWeave和Lambda，目的很明確：給那些私自造芯的巨頭們上眼藥。

第三類是自己在訓(xùn)練LLM（大語言模型）的大小公司。既包括Anthropic、Inflection、Midjourney這種初創(chuàng)公司，也有像蘋果、特斯拉、Meta這樣的科技巨頭。它們通常一邊使用外部云服務(wù)商的算力，一邊自己采購GPU來自建爐灶——有錢的多買，沒錢的少買，主打一個(gè)豐儉由人。

在這三類客戶中，微軟Azure至少有5萬張H100，谷歌手上大概有3萬張，Oracle大概有2萬張左右，而特斯拉和亞馬遜手上也至少拿有1萬張左右，CoreWeave據(jù)稱有3.5萬張的額度承諾（實(shí)際到貨大概1萬）。其他的公司很少有超過1萬張的。

這三類客戶總共需要多少張H100呢？根據(jù)海外機(jī)構(gòu)GPU Utils的預(yù)測，H100當(dāng)前需求大概43.2萬張。其中OpenAI需要5萬張來訓(xùn)練GPT-5，Inflection需求2.2萬張，Meta則是2.5萬張（也有說法是10萬張），四大公有云廠商每家都需要至少3萬張，私有云行業(yè)則是10萬張，而其他的小模型廠商也有10萬張的需求[3]。

英偉達(dá)2023年的H100出貨量大概在50萬張左右，目前臺(tái)積電的產(chǎn)能仍在爬坡，到年底H100一卡難求的困境便會(huì)緩解。

但長期來看，H100的供需缺口會(huì)隨著AIGC的應(yīng)用爆發(fā)而繼續(xù)水漲船高。根據(jù)金融時(shí)報(bào)的報(bào)道，2024年H100的出貨量將高達(dá)150萬張-200萬張，相比于今年的50萬張，提升3-4倍[4]。

而華爾街的預(yù)測則更為激進(jìn)：美國投行Piper Sandler認(rèn)為明年英偉達(dá)在數(shù)據(jù)中心上的營收將超過600億美元（FY24Q2：103.2億美元），按這個(gè)數(shù)據(jù)倒推，A+H卡的出貨量接近300萬張。

還有更夸張的估計(jì)。某H100服務(wù)器最大的代工廠（市占率70%-80%），從今年6月開始就陸續(xù)出貨了H100的服務(wù)器，7月份產(chǎn)能陸續(xù)爬坡。一份最近的調(diào)研顯示，這家代工廠認(rèn)為2024年A+H卡的出貨量會(huì)在450萬張～500萬張之間。

這對英偉達(dá)意味著“潑天的富貴”，因?yàn)镠100的暴利程度，是其他行業(yè)人難以想象的。

比黃金更貴的顯卡

為了搞清H100有多暴利，我們不妨把它的物料成本（Bill of Materials, BOM）徹底拆解出來。

如圖所示，H100最通用的版本H100 SXM采用的是臺(tái)積電CoWoS的7晶粒封裝，6顆16G的HBM3芯片分列兩排緊緊圍繞著中間的邏輯芯片。

而這也構(gòu)成了H100最重要的三個(gè)部分：邏輯芯片、HBM存儲(chǔ)芯片、CoWoS封裝，除此之外，還有諸如PCB板以及其他的一些輔助器件，但價(jià)值量不高。

H100拆機(jī)圖

核心的邏輯芯片尺寸是814mm^2，產(chǎn)自臺(tái)積電最先進(jìn)的臺(tái)南18號(hào)工廠，使用的工藝節(jié)點(diǎn)則是“4N”，雖然名字上是4打頭，但實(shí)際上是5nm+。由于5nm的下游，手機(jī)等領(lǐng)域的景氣度不佳，因此臺(tái)積電在保供邏輯芯片上沒有任何問題。

而這塊邏輯芯片是由12寸（面積70,695mm^2）的晶圓切割產(chǎn)生，理想狀態(tài)下可以切出86塊，但考慮到“4N”線80%的良率以及切割損耗，最后一張12寸晶圓只能切出65塊的核心邏輯芯片。

這一塊核心邏輯芯片的成本是多少呢？臺(tái)積電2023年一片12寸的晶圓對外報(bào)價(jià)是13,400美元，所以折算下來單塊大概在200美元左右。

接下來是6顆HBM3芯片，目前由SK海力士獨(dú)供，這家起源于現(xiàn)代電子的企業(yè)，2002年幾乎要委身與美光，憑借著政府的輸血以及逆周期上產(chǎn)能的戰(zhàn)略，如今在HBM的量產(chǎn)技術(shù)上至少領(lǐng)先美光3年（美光卡在HBM2e，海力士2020年中期量產(chǎn))。

HBM的具體價(jià)格，各家都諱莫如深，但根據(jù)韓媒的說法，HBM目前是現(xiàn)有DRAM產(chǎn)品的5-6倍。而現(xiàn)有的GDDR6 VRAM的價(jià)格大概是每GB3美元，如此推算HBM的價(jià)格是在每GB 15美元左右。那一張H100 SXM在HBM上的花費(fèi)就是1500美元。

雖然今年HBM的價(jià)格不斷上漲，英偉達(dá)、Meta的高管也親赴海力士“督工”，可下半年三星的HBM3就能逐步量產(chǎn)出貨，再加上韓國雙雄祖?zhèn)鞯臄U(kuò)張血脈，想必到了明年HBM就不再是瓶頸。

而真正是瓶頸的則是臺(tái)積電的CoWoS封裝，這是一種2.5D的封裝工藝。相比于直接在芯片上打孔（TSV）、布線（RDL）的3D封裝，CoWoS可以提供更好的成本、散熱以及吞吐帶寬，前兩者對應(yīng)HBM，后兩者則是GPU的關(guān)鍵。

所以想要高存力、高算力的芯片，CoWoS就是封裝上的唯一解。英偉達(dá)、AMD兩家的四款GPU都用上了CoWoS就是最好的佐證。

CoWoS的成本是多少呢？臺(tái)積電22年財(cái)報(bào)披露了CoWoS工藝占總營收7%，于是海外分析師Robert Castellano根據(jù)產(chǎn)能，以及裸晶的尺寸推算出封裝一塊AI芯片能給臺(tái)積電帶來723美元的營收[6]。

因此把上述最大的三塊成本項(xiàng)加總，合計(jì)在2,500美元左右，其中臺(tái)積電占了$1,000（邏輯芯片+CoWoS）左右，SK海力士占了1500美金（未來三星肯定會(huì)染指），再算上PCB等其他材料，整體物料成本不超過3000美金。

那H100賣多少錢呢？35000美金，直接加了一個(gè)零，毛利率超過90%。過去10年英偉達(dá)毛利率大概在60%上下，現(xiàn)在受高毛利的A100/A800/H100的拉動(dòng)，今年Q2英偉達(dá)的毛利率已經(jīng)站上了70%。

這有點(diǎn)反常識(shí)：英偉達(dá)嚴(yán)重依賴臺(tái)積電的代工，后者地位無人撼動(dòng)，甚至是唯一能卡英偉達(dá)脖子的核心環(huán)節(jié)。但這么一塊3.5萬美金的卡，制造它的臺(tái)積電只能拿1000美金，而且只是收入，不是利潤。

不過，用毛利率來定義暴利，對于芯片公司意義不大，要是從沙子開始算，那毛利率更高。一張4N工藝的12寸晶圓，臺(tái)積電賣給誰都差不多是1.5萬美金一片，英偉達(dá)能加個(gè)零賣給客戶，自然有其訣竅。

這個(gè)訣竅的秘密在于：英偉達(dá)本質(zhì)上，是一個(gè)偽裝成硬件廠商的軟件公司。

軟硬一體的護(hù)城河

英偉達(dá)最強(qiáng)大的武器，就藏在毛利率減去凈利率的那一部分。

在本輪AI熱潮之前，英偉達(dá)的毛利率常年維持在65%上下，而凈利率通常只有30%。而今年Q2受高毛利的A100/A800/H100的拉動(dòng)，毛利率站上70%，凈利率更是高達(dá)45.81%。

近 3 財(cái)年英偉達(dá)(NVIDIA)單季度毛利率與凈利率

英偉達(dá)目前在全球有超過2萬名員工，大都是高薪的軟硬件工程師，而根據(jù)美國獵聘Glassdoor的數(shù)據(jù)，這些崗位的平均年薪基本都高于20萬美元/年。

近十個(gè)財(cái)年英偉達(dá)研發(fā)費(fèi)用率

在過去的十年里，英偉達(dá)研發(fā)支出的絕對值保持著高速增長，而研發(fā)費(fèi)用率穩(wěn)態(tài)下也維持在20%以上。當(dāng)然，如果某一年的終端需求爆發(fā)，比如2017年的深度學(xué)習(xí)、21年的挖礦、以及今年的大語言模型，營收的分母驟然抬升，研發(fā)費(fèi)用率就會(huì)短暫的跌倒20%，相應(yīng)地利潤也會(huì)非線性暴增。

而在英偉達(dá)研發(fā)的這么多項(xiàng)目中最關(guān)鍵的無疑是CUDA。

03年為解決DirectX編程門檻過高的問題，Ian Buck的團(tuán)隊(duì)推出了一款名為Brook的編程模型，這也是后來人們常說的CUDA的雛形。06年Buck加入英偉達(dá)，并說服黃仁勛研發(fā)CUDA[8]。

因?yàn)橹С諧語言環(huán)境下的并行計(jì)算，使得CUDA一躍成為工程師的首選，也讓GPU走上了通用處理器（GPGPU）的道路。

在CUDA逐漸成熟之后，Buck再次勸說黃仁勛，讓英偉達(dá)未來所有的GPU都必須支持CUDA。06年CUDA立項(xiàng)，07年推出產(chǎn)品，當(dāng)時(shí)英偉達(dá)的年?duì)I收僅有30億美元，卻在CUDA上花費(fèi)5億美金，到了17年時(shí)，單在CUDA上的研發(fā)支出就已超過了百億。

曾經(jīng)有位私有云公司的CEO在接受采訪時(shí)說過，他們也不是沒想過轉(zhuǎn)去買AMD的卡，但要把這些卡調(diào)試到正常運(yùn)轉(zhuǎn)至少需要兩個(gè)月的時(shí)間[3]。而為了縮短這兩個(gè)月，英偉達(dá)投入上百億走了20年。

芯片行業(yè)浮沉大半個(gè)世紀(jì)，從來沒有一家企業(yè)像英偉達(dá)一樣，既賣硬件、也賣生態(tài)，或者按黃仁勛的話來說：“賣的是準(zhǔn)系統(tǒng)”。因此，英偉達(dá)對標(biāo)的也的確不是芯片領(lǐng)域的那些先賢們，而是蘋果——另一家賣系統(tǒng)的公司。

從07年推出CUDA，到成為全球最大的印鈔廠，英偉達(dá)也并不是沒有過對手。

08年當(dāng)時(shí)芯片屆王者英特爾中斷了與英偉達(dá)在集顯項(xiàng)目上的合作，推出自己的通用處理器（GPCPU），打算在PC 領(lǐng)域“劃江而治”。可英偉達(dá)在隨后幾年的產(chǎn)品迭代中，硬是把自家處理器推廣到太空、金融、生物醫(yī)療等需要更強(qiáng)大計(jì)算能力的領(lǐng)域，于是10年英特爾眼看打壓無望，被迫取消了獨(dú)立顯卡計(jì)劃。

09年蘋果的開發(fā)團(tuán)隊(duì)推出了OpenCL，希望能憑借著通用性在CUDA身上分一杯羹。但OpenCL在深度學(xué)習(xí)的生態(tài)上遠(yuǎn)不如CUDA，許多學(xué)習(xí)框架要么是在CUDA發(fā)布之后，才會(huì)去支持OpenCL，要么壓根不支持OpenCL。于是在深度學(xué)習(xí)上的掉隊(duì)，使得OpenCL始終無法觸及更高附加值的業(yè)務(wù)。

15年AlphaGo開始在圍棋領(lǐng)域初露鋒芒，宣告人工智能的時(shí)代已經(jīng)來臨。此時(shí)的英特爾為了趕上這最后一班車，把AMD的GPU裝入自己的系統(tǒng)芯片內(nèi)。這可是兩家公司自上世紀(jì)80年代以來的首次合作。可如今CPU老大、老二+GPU老二的市值之和僅是GPU老大英偉達(dá)的1/4。

從目前看來，英偉達(dá)的護(hù)城河幾乎是牢不可摧。即使有不少大客戶笑里藏刀，私下里在研發(fā)自己的GPU，但憑借著龐大的生態(tài)和快速的迭代，這些大客戶也無法撬動(dòng)帝國的裂縫，特斯拉就是明證。英偉達(dá)的印鈔機(jī)生意，在可見的未來還會(huì)持續(xù)。

可能唯一讓黃仁勛縈繞烏云的地方，便是那個(gè)客戶眾多、需求旺盛但H100賣不進(jìn)去、但人家又在咬牙攻堅(jiān)的地方——這個(gè)地方全世界只有一個(gè)。

參考資料

[1] Crunchbase

[2] 'Everyone and Their Dog is Buying GPUs,' Musk Says as AI Startup Details Emerge-tom's HARDWARE

[3] Nvidia H100 GPUs: Supply and Demand-GPU Utils

[4] Supply chain shortages delay tech sector’s AI bonanza，F(xiàn)T

[5] AI Capacity Constraints – CoWoS and HBM Supply Chain-DYLAN PATEL, MYRON XIE, AND GERALD WONG，Semianalysis

[6] Taiwan Semiconductor: Significantly Undervalued As Chip And Package Supplier To Nvidia-Robert Castellano，Seeking Alpha

[7] 芯片戰(zhàn)爭，余盛

[8]What is CUDA? Parallel programming for GPUs-Martin Heller，InfoWorld

[9] NVIDIA DGX H100 User Guide

本文為專欄作者授權(quán)微新創(chuàng)想發(fā)表，版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn)，不代表微新創(chuàng)想立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系http://www.i0562.net/。