AI 訓練集群的瓶頸早就不只在算力端了。你在很多公開報道里看到“某家大廠一次性采購幾萬張加速卡”但很少有人追問這些卡等不等得到內存過去兩輪 GPU 迭代計算核心的密度一直在漲顯存位寬也一直在漲但真正卡住系統(tǒng)吞吐的往往就是那顆 DRAM 與 GPU 之間的窄通道。HBM 就是這條通道上最關鍵的部件。所以當“消息稱三星電子正為英偉達開發(fā)定制 8Hi HBM17~18Gbps 高速設計”這類新聞出現(xiàn)時我的第一反應不是“又一款高速內存”而是“HBM 這門生意終于從標準件走向了定制化戰(zhàn)場”。這則消息如果為真真正值得分析的并不是“三星拿到了英偉達的單子”這個結果而是一個趨勢信號AI 芯片廠商開始深入存儲顆粒內部把 HBM 當成與 GPU 一起設計、一起調優(yōu)的子系統(tǒng)。8Hi、17~18Gbps 這類具體規(guī)格背后是一整套關于帶寬、功耗、散熱、良率和測試的工程博弈。本文就把這層博弈拆開來看。1. HBM 定制化這一代 AI 芯片競爭的真正焦點1.1 為什么 GPU 算力上去了訓練速度沒上去先回到一個很多人實測過的現(xiàn)象。拿一張 H100 級別的 GPU 跑大模型訓練理論算力動不動就是幾百 TFLOPS但實際跑起來使用率很難拉滿。卡點往往不是矩陣乘法單元不夠快而是顯存帶寬喂不飽數(shù)據(jù)。每個計算單元要在每個時鐘周期里拿到足夠的權重和激活值一旦 HBM 帶寬不夠計算核心就停下來等數(shù)據(jù)。這種情況在超大模型訓練、長上下文推理、多模態(tài)場景里尤其明顯。模型參數(shù)變大中間激活變大batch size 又不能無限增加。GPU 把數(shù)據(jù)從 HBM 搬進 SRAM 再搬進寄存器這條路徑一旦擁堵算力再高也是虛的。所以 HBM 的容量和帶寬幾乎直接決定了 AI 加速卡的上限。過去幾代旗艦加速卡無一例外都是 HBM 的深度用戶。你可以把 HBM 理解成 AI 算力的“大型倉庫”而倉庫的吞吐能力決定了工廠流水線能不能滿負荷運轉。1.2 從標準 HBM 到定制 HBM一批芯片背后的共同設計過去幾年HBM 廠商給市場提供的是標準化產(chǎn)品。JEDEC 定義了 HBM2、HBM3、HBM3E 等規(guī)范包括堆疊層數(shù)、接口位寬、最低速率、電壓范圍。GPU 廠商從內存廠商手里買到符合 JEDEC 標準的產(chǎn)品再根據(jù)自己芯片的物理管腳布局去適配。但標準化有一個問題它照顧的是最大公約數(shù)。GPU 廠商如果想要的不是最大公約數(shù)而是和自家架構最匹配的“私有規(guī)格”就需要定制。這次消息里提到的“英偉達定制 8Hi HBM”核心就在“定制”二字上。定制意味著英偉達不只卡在封裝環(huán)節(jié)選型而是把需求提前到內存設計階段用幾層 DRAM 堆疊、信號速率定在多少、工作電壓怎么調、熱預算怎么分配甚至硅片上的物理布局有沒有可能為 GPU 的特殊訪問模式優(yōu)化。這種深度耦合和過去“買標準顆粒再自己封裝”是兩種完全不同的協(xié)作方式。對英偉達的好處很直接可以把 HBM 的帶寬、容量和功耗調到與 GPU 架構更匹配的狀態(tài)減少浪費提升能效。對三星這類內存廠商定制訂單意味著更高的技術壁壘和更深的客戶綁定但同時也意味著更大的研發(fā)和良率壓力。1.3 定制到底定在哪些參數(shù)如果把定制兩個字落到具體技術點可以關注四個層面第一堆疊層數(shù)。HBM 有 4Hi、8Hi、12Hi、16Hi 等不同層數(shù)。定制 8Hi 意味著每個 HBM 棧由 8 層 DRAM die 垂直堆疊通過硅通孔連通。8Hi 的容量和帶寬是一個比較成熟的平衡點工藝難度相對可控。第二接口速率。標題提到的 17~18Gbps 是每個引腳的信號速率。速率越高單位時間搬運的數(shù)據(jù)越多但對信號完整性、供電噪聲和散熱的要求也越高。第三電壓與功耗。高速信號通常意味著更高的動態(tài)功耗。定制時可以在速率和電壓之間做折中比如壓低工作電壓用更好的一致性設計換取低功耗。第四面向特定工作負載的訪問模式。GPU 在訓練和推理場景里的訪問模式并不一樣例如矩陣數(shù)據(jù)復用方式、多播機制、原子操作頻率。內存廠商如果提前知道這些可以在緩沖器設計、預取策略、刷新策略上做針對性優(yōu)化。這些層面的定制最終都要落到“和 GPU 協(xié)同設計”這一步。單靠內存廠商自己閉門造車很難做到精準匹配。2. 8Hi、17~18Gbps 不是營銷詞拆一下規(guī)格背后的物理賬2.1 8Hi 到底指什么先解釋 8Hi 這個數(shù)字。HBM 的全稱是 High Bandwidth Memory它不像普通 DRAM 那樣平鋪在一層芯片上而是把多層 DRAM die 堆疊起來每層之間通過 TSV 硅通孔垂直打通信號再統(tǒng)一連接到下方的邏輯緩沖 die。Hi 就是 Layer8Hi 就是 8 層 DRAM die 堆疊。8Hi 的含義首先要分開看容量和帶寬。每一層 DRAM die 都有一定的單位容量比如 24Gb 或 32Gb不同產(chǎn)品不同。單顆 HBM 棧的總容量單 die 容量×層數(shù)。8Hi 不一定等于更高的總容量因為還要看每層 die 的容量但 8Hi 通常能在一個更合理的封裝尺寸里提供比 4Hi 更大的容量和帶寬。堆疊層數(shù)越多垂直打孔、減薄、對準、鍵合的難度就越高。8Hi 的良率通常低于 4Hi12Hi 又低于 8Hi。但 8Hi 在 HBM3E 時代是一個比較普遍的配置很多加速卡用的就是 8Hi 棧?！?Hi”本身不直接等于性能指標。它更多是封裝和堆疊維度上的描述。真正決定訪問速度的是接口速率。2.2 17~18Gbps 能從帶寬公式里讀出什么HBM 的帶寬很容易用公式估算單個 HBM 棧帶寬約等于每個引腳的速率 × 單個棧的數(shù)據(jù)位寬。HBM3E 單棧數(shù)據(jù)位寬通常是 512 bit即 64 字節(jié)。如果按 17Gbps 算單棧帶寬 17Gbps × 512 / 8 ≈ 1088 GB/s大約是 1.1TB/s。如果按 18Gbps 算就是 18 × 512 / 8 ≈ 1152 GB/s約 1.125TB/s。這個數(shù)字意味著什么一個加速卡如果配 6 個 HBM ?？値捑驮?6.5TB/s 到 6.9TB/s 之間。放在訓練場景里1.1TB/s 單棧帶寬已經(jīng)相當可觀比很多普通 DDR5 通道高出兩個數(shù)量級。但要注意17~18Gbps 不是 HBM 的終極速度上限。JEDEC 的 HBM3E 規(guī)范目前允許的速率逐步提升行業(yè)里已經(jīng)有人在實驗室沖更高。17~18Gbps 更可能是一個“量產(chǎn)可接受、功耗可控、良率可?！钡墓こ唐胶恻c。2.3 高溫、功耗、信號完整性高數(shù)據(jù)率帶來的連鎖代價很多人只看到速率提升了沒看到速率的代價。信號頻率越高一根導線上的損耗越明顯。HBM 和 GPU 之間的互連要通過硅中介層或有機基板走線走線上有電阻、電容、電感高頻信號經(jīng)過這段路徑會產(chǎn)生損耗和符號間干擾。隨著速率逼近 18Gbps設計上會要求更好的發(fā)送端均衡、接收端均衡、時鐘恢復能力和阻抗匹配。如果 HBM 廠商沒有提前調整 I/O 驅動強度高速信號很容易出現(xiàn)眼圖閉眼、誤碼率上升。同樣重要的還有功耗。1Gbps 的速率提升往往意味著動態(tài)功耗的顯式增長。HBM 工作時要不斷開關大量 I/O 驅動器速率越高充放電功耗越大。整個數(shù)據(jù)中心都在強調每瓦性能GPU 廠商不可能只盯著帶寬數(shù)字還要看能效。散熱是另一個隱藏變量。HBM 堆疊在一起中間層產(chǎn)生的熱量需要通過 TSV 往下導再經(jīng)過散熱蓋板排出。8Hi 的垂直方向熱阻比 4Hi 更大如果上層 DRAM 工作太熱刷新時間會變短可靠性會下降。20Gbps 跑得太爽結果熱到降頻那就得不償失了。所以 17~18Gbps 更像是一道綜合題不僅要有高速設計能力還要有功耗、散熱、信號完整性和可靠性的系統(tǒng)平衡能力。這也是定制 HBM 不便宜的原因。3. 三星為什么能進這個局HBM 工藝競爭里的“追趕與錯位”3.1 HBM 三強格局領先者不是固若金湯HBM 市場長期由 SK 海力士、三星電子、美光三家主導。過去兩代產(chǎn)品里SK 海力士最早發(fā)力 HBM3E并率先進入英偉達供應鏈一度成為市場的領跑者。三星也在積極追趕在 HBM3E 的量產(chǎn)節(jié)奏上反復調整甚至多次傳出要加大投入。美光則主打能效和單位容量的優(yōu)勢。這個格局不是固若金湯。因為 AI 加速卡的需求變化太快第一代領先只能說明早期研發(fā)高效下一代產(chǎn)品能否持續(xù)領先取決于良率、產(chǎn)能和客戶定制能力。消息說三星正在為英偉達開發(fā)定制 8Hi HBM說明三星試圖通過定制化切入英偉達的核心供應鏈。這種切入方式比單純拼“標準品量產(chǎn)時間”更聰明。對一個后發(fā)者來說和領先客戶一起定義差異化規(guī)格可以避開正面對抗轉而用協(xié)作深度建立壁壘。3.2 8Hi 定制設計對三星意味著什么對三星來說接到英偉達定制訂單的價值不只是營收。更關鍵的是它會反向推動三星在 HBM 設計和制造能力上快速補課。定制 8Hi HBM 至少要求三星具備幾件事能提供符合信號完整性要求的高速 TSV 設計能在 8 層堆疊中保持高良率能控制熱機械應力能和 GPU 廠商的封裝流程無縫配合。這些能力不是一朝一夕能建立的。同時定制訂單會占用三星的先進封裝和測試產(chǎn)能。HBM 不是只有 DRAM 制造還包括 TSV 形成、晶圓減薄、堆疊鍵合、封裝測試等多個環(huán)節(jié)。如果三星能把 8Hi 定制產(chǎn)品做穩(wěn)定它就更有可能在下一代 12Hi 甚至 16Hi 上獲得同等信任。但這并不意味著三星一定能拿下長期大單。定制項目的生命線是“按期交付 穩(wěn)定良率 穩(wěn)定性能”。如果中間某個環(huán)節(jié)出問題客戶有備用供應商風險仍然很大。3.3 良率、散熱、測試定制化最容易暴露工業(yè)能力的三個環(huán)節(jié)先看良率。8Hi 堆疊過程中每一層 die 都要做 TSV 開孔和金屬填充。任何一層出現(xiàn)缺陷整顆 HBM 都可能報廢。層數(shù)越多良率損失越明顯。三星要想在 17~18Gbps 速率下拿到可觀的好品率必須優(yōu)化 die 之間的對準精度和鍵合工藝。再看散熱。8Hi 堆疊的垂直熱阻不小。DRAM 性能會隨溫度變化高溫下的刷新率、數(shù)據(jù)保留時間都會受影響。定制 HBM 可能會在芯片內部增加溫度傳感器和動態(tài)刷新策略這些細節(jié)決定長期可靠性。最后是測試。高速 HBM 完整測試需要專門的探針卡和測試機臺。17~18Gbps 信號在測試夾具上會有額外損耗如果測試夾具的設計跟不上測出來的眼圖就不可信。三星如果在這個環(huán)節(jié)投入不足會發(fā)現(xiàn)量產(chǎn)篩出來很多“低速料”產(chǎn)能白白浪費。這三個環(huán)節(jié)正是定制 HBM 最難復制、也最能體現(xiàn)技術縱深的地方。英偉達選擇供應商的時候看的絕不是紙面速率而是產(chǎn)量、可靠性和交付周期。4. 工程視角當我們做 AI 基礎設施時該如何看待 HBM 選型4.1 先搞清楚你的瓶頸在算力還是帶寬對我們這些做 AI 基礎設施、做平臺規(guī)劃、做應用部署的人來說HBM 定制化離得遠但它會通過加速卡規(guī)格滲透到日常選擇里。面對新品發(fā)布不要只看“XX TFLOPS”先問一句HBM 的容量和帶寬是多少算力和帶寬的配比是否匹配我的負載判斷方法很簡單。如果你的訓練任務每個 token 消耗的算力很高模型計算密集那么算力上限更重要如果模型很大注意力機制很長需要頻繁搬數(shù)據(jù)那么帶寬和容量更重要。很多 MoE 模型的部署瓶頸就在顯存帶寬因為每個 token 只激活一部分專家但參數(shù)仍然要被全部讀一遍。這時候8Hi 定制 HBM 帶來的高帶寬就可能比單純增加核心數(shù)更有效。選型時要看自己的 workload profile不要被一顆芯片的峰值算力帶著走。4.2 一張選型評估表從帶寬、容量、功耗到供應鏈我可以給一個比較務實的評估框架適合大家在選型或評審時參考。每個維度后面跟著我們要記錄或追問的問題評估維度關注點需要確認的問題單棧帶寬每個 HBM 棧的引腳速率與位寬單棧帶寬是否足夠喂飽 GPU 計算核心總帶寬加速卡上的 HBM 棧數(shù)量總帶寬和峰值算力是否匹配總容量單顆 HBM 容量 × 棧數(shù)能否放下目標模型的權重和 KV Cache功耗HBM 電壓、速率、讀寫占比整卡功耗是否在機房供電和散熱預算內散熱HBM 堆疊層數(shù)、風冷/液冷高負載下 HBM 是否會過熱降頻供應鏈供應商、定制/通用該規(guī)格是否有替代供應商交付周期是否穩(wěn)定軟件生態(tài)帶寬監(jiān)控、內存調試工具驅動和應用層能否正確識別并監(jiān)控顯存狀態(tài)表格里前兩項最直接。單棧帶寬 1.1TB/s、總帶寬 6.5TB/s 以上通常意味著這顆卡在長文本和高并發(fā)推理上會有優(yōu)勢。但要注意這些數(shù)字只有在實際壓測里有意義。4.3 不要忽略軟件棧和系統(tǒng)級驗證很多人拿著規(guī)格表選卡卻忘了跑一遍真實的端到端驗證。HBM 速率再高如果驅動、內存分配器、通信庫沒有做針對性優(yōu)化實際吞吐也會打折。常見的做法是先在目標卡上跑一輪典型任務壓測比如用大模型訓練跑一個中等規(guī)模的 step觀察算力利用率、內存帶寬占用率和功耗曲線。不要只跑 benchmarking 工具因為工具里的訪問模式未必代表真實負載。如果你在做推理服務還要重點看長期占用下的溫度。17~18Gbps 的高速 HBM 在連續(xù)推理時發(fā)熱量不低。風冷機箱里如果進風不足HBM 溫度可能逼近設計上限導致刷新率調整和性能回退。提前用 ipmitool 或 GPU 廠商的監(jiān)控工具記錄溫度曲線比事后排查更有效。提醒不要因為看到高帶寬數(shù)字就直接換配置。先用你的真實負載跑 30 分鐘以上記錄帶寬、溫度、功耗三者之間的關系再判斷這顆卡適不適合你的機房環(huán)境。5. 長遠影響與可執(zhí)行建議定制化不會只停留在 HBM5.1 存儲和邏輯芯片的協(xié)同設計會成為主流從“標準 HBM”到“定制 HBM”背后是 AI 芯片競爭的一種總體趨勢存儲和邏輯芯片的邊界正在變得模糊。過去GPU 設計者把內存當成外部器件在手冊里寫清楚支持哪些協(xié)議就完了。現(xiàn)在為了壓榨每一瓦性能GPU 設計者會提前介入 HBM 的微架構和物理設計。這種協(xié)同設計在 CXL、HBM、甚至未來的光互連里都會越來越頻繁。芯片廠商不再滿足于“買回來能用”而是希望內存按照芯片特性“長”出來。這會帶來三個變化內存廠商從標準化批量供應商轉向深度定制解決方案商。系統(tǒng)級協(xié)同驗證包括散熱和測試會成為產(chǎn)品競爭力的一部分。生態(tài)壁壘會進一步加深后進者很難靠單一環(huán)節(jié)的突破進入核心供應鏈。5.2 對開發(fā)者/運維者的三個可執(zhí)行建議結合上面這則消息我給幾個具體建議。第一在閱讀新品發(fā)布時把 HBM 規(guī)格放到和算力同等重要的位置。問三個問題單棧速率是多少堆疊層數(shù)是多少總帶寬和總容量是否匹配我的模型如果搞不清楚就很難判斷新卡到底適合訓練還是推理。第二如果日常做訓練性能優(yōu)化主動利用 HBM 的高帶寬特性關注數(shù)據(jù)布局和融合算子。很多優(yōu)化手段的本質是減少 HBM 訪問次數(shù)比如算子融合、梯度累積、KV Cache 量化。帶寬越高這些優(yōu)化帶來的收益會更明顯但如果不做優(yōu)化再高帶寬也會被無效訪問浪費掉。第三關注 HBM 供應商的定制化動態(tài)。這不是八卦而是供應鏈風險判斷依據(jù)。如果某家加速卡綁定了一家 HBM 定制供應商那么這家供應商的產(chǎn)能、良率和交付節(jié)奏會直接影響加速卡的供貨和成本。做基礎設施規(guī)劃時不能只看 GPU 廠商還要抬頭看存儲供應鏈。5.3 風險與邊界消息不等于最終產(chǎn)品最后必須強調一點目前只是消息層面。所謂“三星電子正為英偉達開發(fā)定制 8Hi HBM”可能代表產(chǎn)品已經(jīng)進入開發(fā)階段也可能只是早期合作。最終能否量產(chǎn)、速率能否穩(wěn)定在 17~18Gbps、使用在哪一代產(chǎn)品上、有沒有第二供應商都存在不確定性。作為技術觀察者我們要從消息里提取方向但不能把消息當成事實來押注。HBM 每一次速率提升都伴隨制造成本增加和良率波動廠商經(jīng)常會根據(jù)實際情況調整規(guī)格。說不定最后量產(chǎn)的版本是 16Gbps 而不是 18Gbps也可能在 12Hi 上做不同的取舍。所以我的建議是把這種消息當成行業(yè)趨勢的“信號燈”而不是某張卡的“配置單”。用來調整你對 HBM 定制化、供應鏈角色和 AI 算力瓶頸的理解不要用來做具體的采購決策。等設備到手用真實負載跑出數(shù)據(jù)再下結論也不遲?；氐阶铋_始的問題。AI 計算往前每走一步HBM 就得跟上一步。三星為英偉達定制 8Hi HBM 這件事真正的看點不是誰又多了個訂單而是 HBM 已經(jīng)從幕后走到了臺前成為 AI 加速器設計里的核心變量。對我們這些關注工程落地的人來說盡早理解帶寬、堆疊層、信號速率和功耗之間的約束關系才能在下一代硬件真正到來時做出更靠譜的技術判斷。