煉大模型最佳GPU英偉達(dá)H100，全部賣(mài)空了！
即使現(xiàn)在立即訂購(gòu)，也要等2024年Q1甚至Q2才能用上。
這是與英偉達(dá)關(guān)系密切的云廠商CoreWeave對(duì)華爾街日?qǐng)?bào)透露的最新消息。
從4月初開(kāi)始，供應(yīng)就變得異常緊張。僅僅一周之內(nèi)，預(yù)期交貨時(shí)間就從合理水平跳到了年底。
全球最大云廠商亞馬遜AWS也證實(shí)了這一消息，CEO Adam Selipsky近期表示：
A100和H100是最先進(jìn)的……即使對(duì)于AWS來(lái)說(shuō)也很難獲得。
更早時(shí)候，馬斯克還在一場(chǎng)訪談節(jié)目中也說(shuō)過(guò)：GPU現(xiàn)在比d品還難獲得。
如果找“黃牛”買(mǎi)，溢價(jià)高達(dá)25%。
如Ebay上的價(jià)格已從出廠價(jià)約36000美元漲到了45000美元，而且貨源稀少。
這種形勢(shì)下，國(guó)內(nèi)的百度、字節(jié)、阿里、騰訊等大型科技公司也向英偉達(dá)下了總計(jì)50億美元的A800等芯片訂單。
其中只有10億美元的貨能今年內(nèi)交付，另外80%也要等2024年才行。
那么現(xiàn)有高端GPU都賣(mài)給誰(shuí)了？這一波產(chǎn)能又是卡在了哪？
H100賣(mài)給誰(shuí)，老黃說(shuō)了算
ChatGPT爆發(fā)以來(lái)，擅長(zhǎng)訓(xùn)練大模型的英偉達(dá)A100、H100成了香餑餑。
甚至H100已經(jīng)可以作為初創(chuàng)公司的一種資產(chǎn)，找投資基金獲得抵押貸款。
OpenAI、meta為代表的AI公司，亞馬遜、微軟為代表的云計(jì)算公司，私有云Coreweave和Lambda，以及所有想煉自家大模型的各類科技公司，需求量都巨大。
然而賣(mài)給誰(shuí)，基本是英偉達(dá)CEO黃仁勛說(shuō)了算。
據(jù)The Information消息，H100這么緊缺，英偉達(dá)把大量的新卡分配給了CoreWeave，對(duì)亞馬遜微軟等老牌云計(jì)算公司限量供應(yīng)。
（英偉達(dá)還直接投資了CoreWeave。）
外界分析是因?yàn)檫@些老牌公司都在開(kāi)發(fā)自己的AI加速芯片、希望減少對(duì)英偉達(dá)的依賴，那老黃也就成全他們。
老黃在英偉達(dá)內(nèi)部還把控了公司日常運(yùn)營(yíng)的方方面面，甚至包括“審查銷售代表準(zhǔn)備對(duì)小型潛在客戶說(shuō)什么話”。
全公司約40名高管直接向老黃匯報(bào)，這比meta小扎和微軟小納的直接下屬加起來(lái)還多。
一位英偉達(dá)前經(jīng)理透露，“在英偉達(dá)，黃仁勛實(shí)際上是每一款產(chǎn)品的首席產(chǎn)品官。”
前陣子，還傳出老黃干了一件夸張的事：要求一些小型云計(jì)算公司提供他們的客戶名單，想了解GPU的最終使用者是誰(shuí)。
外界分析，此舉將使英偉達(dá)更了解客戶對(duì)其產(chǎn)品的需求，也引起了對(duì)英偉達(dá)可能利用這些信息謀取額外利益的擔(dān)憂。
也有人認(rèn)為，還有一層原因是老黃想知道誰(shuí)真的在用卡，而誰(shuí)只是囤卡不用。
為什么英偉達(dá)和老黃現(xiàn)在有這么大的話語(yǔ)權(quán)？
主要是高端GPU供需太不平衡，根據(jù)GPU Utils網(wǎng)站的測(cè)算，H100缺口高達(dá)43萬(wàn)張。
作者Clay Pascal根據(jù)各種已知信息和傳言估計(jì)了AI行業(yè)各參與者近期還需要的H100數(shù)量。
AI公司方面：
OpenAI可能需要5萬(wàn)張H100來(lái)訓(xùn)練GPT-5
meta據(jù)說(shuō)需要10萬(wàn)
InflectionAI的2.2萬(wàn)張卡算力集群計(jì)劃已公布
主要AI初創(chuàng)公司如Anthropic、Character.ai、歐洲的MistraAI和HelsingAI需求各自在1萬(wàn)數(shù)量級(jí)。
云計(jì)算公司方面：
大型公有云里，亞馬遜、微軟、谷歌、甲骨文都按3萬(wàn)算，共12萬(wàn)
以CoreWeave和Lambda為代表的私有云加起來(lái)總共需要10萬(wàn)
加起來(lái)就是43.2萬(wàn)了。
這還沒(méi)算一些摩根大通、Two Sigma等也開(kāi)始部署自己算力集群的金融公司和其他行業(yè)參與者。
那么問(wèn)題來(lái)了，這么大的供應(yīng)缺口，就不能多生產(chǎn)點(diǎn)嗎？
老黃也想啊，但是產(chǎn)能被卡住了。
產(chǎn)能這次卡在哪里？
其實(shí)，臺(tái)積電已經(jīng)為英偉達(dá)調(diào)整過(guò)一次生產(chǎn)計(jì)劃了。
不過(guò)還是沒(méi)能填補(bǔ)上如此巨大的缺口。
英偉達(dá)DGX系統(tǒng)副總裁兼總經(jīng)理Charlie Boyle稱，這次并不是卡在晶圓，而是臺(tái)積電的CoWoS封裝技術(shù)產(chǎn)能遇到了瓶頸。
與英偉達(dá)搶臺(tái)積電產(chǎn)能的正是蘋(píng)果，要在9月發(fā)布會(huì)之前搞定下一代iPhone要用的A17芯片。
而臺(tái)積電方面近期表示，預(yù)計(jì)需要1.5年才能使封裝工藝積壓恢復(fù)正常。
CoWoS封裝技術(shù)是臺(tái)積電的看家本領(lǐng)，臺(tái)積電之所以能擊敗三星成為蘋(píng)果的獨(dú)家芯片代工廠靠的就是它。
這項(xiàng)技術(shù)封裝出的產(chǎn)品性能高、可靠性強(qiáng)，H100能擁有3TB/s(甚至更高)的帶寬正是得益于此。
CoWoS全名叫Chip-on-Wafer-on-Substrate，是一種在晶圓層面上的芯片集成技術(shù)。
這項(xiàng)技術(shù)可以將多個(gè)芯片封裝到厚度僅有100μm的硅中介層上。
據(jù)介紹，下一代中介層面積將達(dá)到6倍reticle，也就是約5000mm2。
目前為止，除了臺(tái)積電，沒(méi)有哪家廠商擁有這個(gè)水平的封裝能力。
雖然CoWoS的確強(qiáng)悍，但沒(méi)有它就不行嗎？其他廠商能不能代工呢？
先不說(shuō)老黃已經(jīng)表示過(guò)“不考慮新增第二家H100代工廠”。
從現(xiàn)實(shí)上看，可能也真的不行。
英偉達(dá)此前曾和三星有過(guò)合作，但后者從未給英偉達(dá)生產(chǎn)過(guò)H100系列產(chǎn)品，甚至其他5nm制程的芯片。
據(jù)此有人推測(cè)，三星的技術(shù)水平可能無(wú)法滿足英偉達(dá)對(duì)尖端GPU的工藝需求。
至于英特爾……他們的5nm產(chǎn)品好像還遲遲沒(méi)有問(wèn)世。
既然讓老黃換生產(chǎn)廠家行不通，那用戶直接改用AMD怎么樣？
AMD，Yes？
如果單論性能的話，AMD倒的確是慢慢追上來(lái)了。
AMD最新推出的MI300X，擁有192GB的HBM3內(nèi)存、5.2TB/s的帶寬，可運(yùn)行800億參數(shù)模型。
而英偉達(dá)剛剛發(fā)布的DGX GH200，內(nèi)存為141GB的HBM3e，帶寬則為5TB/s。
但這并不意味著AMD能馬上填補(bǔ)N卡的空缺——
英偉達(dá)真正的“護(hù)城河”，在于CUDA平臺(tái)。
CUDA已經(jīng)建立起一套完整的開(kāi)發(fā)生態(tài)，意味著用戶要是購(gòu)買(mǎi)AMD產(chǎn)品，需要更長(zhǎng)時(shí)間來(lái)進(jìn)行調(diào)試。
一名某私有云公司的高管表示，沒(méi)人敢冒險(xiǎn)花3億美元實(shí)驗(yàn)部署10000個(gè)AMD GPU。
這名高管認(rèn)為，開(kāi)發(fā)調(diào)試的周期可能至少需要兩個(gè)月。
在AI產(chǎn)品飛速更新?lián)Q代的大背景下，兩個(gè)月的空檔期對(duì)任何一家廠商來(lái)說(shuō)可能都是致命的。
不過(guò)微軟倒是向AMD伸出了橄欖枝。
此前有傳聞稱 ，微軟準(zhǔn)備和AMD共同開(kāi)發(fā)代號(hào)為“雅典娜”的AI芯片。
而更早之前，MI200發(fā)布時(shí)，微軟第一個(gè)宣布采購(gòu)，并在其云平臺(tái)Azure上部署。
比如前一陣MSRA的新大模型基礎(chǔ)架構(gòu)RetNet就是在512張AMD MI200上訓(xùn)練的。
在英偉達(dá)占據(jù)幾乎整個(gè)AI市場(chǎng)的格局下，可能需要有人帶頭沖鋒，先整個(gè)大型AMD算力集群打樣，才有人敢于跟進(jìn)。
不過(guò)短時(shí)間內(nèi)，英偉達(dá)H100、A100還是最主流的選擇。
One More Thing
前一陣蘋(píng)果發(fā)布最高支持192GB內(nèi)存新款M2 Ultra芯片的時(shí)候，還有不少?gòu)臉I(yè)者暢享過(guò)用它來(lái)微調(diào)大模型。
畢竟蘋(píng)果M系列芯片的內(nèi)存顯存是統(tǒng)一的，192GB內(nèi)存就是192GB顯存，可是80GB H100的2.4倍，又或者24GB RTX4090的8倍。
然鵝，有人真的把這臺(tái)機(jī)器買(mǎi)到手后，實(shí)際測(cè)試訓(xùn)練速度還不如英偉達(dá)RTX3080TI，微調(diào)都不劃算，訓(xùn)練就更別想了。
畢竟M系列芯片的算力部分不是專門(mén)針對(duì)AI計(jì)算優(yōu)化的，光大顯存也沒(méi)用。
煉大模型，看來(lái)主要還是得靠H100，而H100又求之不得。
面對(duì)這種情況，網(wǎng)絡(luò)上甚至流傳著一首魔性的“GPU之歌”。
很洗腦，慎入。
