在今年的Hot Chips大會上，HBM（高頻寬記憶體）成為絕對焦點。三星、美光、SK海力士與輝達密集披露各自技術路線圖，核心議題高度集中：HBM正從標準化商品走向定製化平台，三維垂直堆疊成為下一代架構的共同方向，而散熱與功耗約束已成為制約擴充套件的首要瓶頸。
三星提出了將HBM基礎底片（base die）從通訊層演進為定製化AI平台的三階段路線圖，並披露了ZHBM概念——將HBM直接垂直堆疊於XPU之上，目標是將總DRAM功耗較HBM5降低約70%，絕對功耗降幅超過100W，頻寬提升2.3倍以上。與此同時，輝達披露其實驗室已擁有至少三款RVA23處理器，並完成了CUDA在RISC-V硬體上執行的首次公開演示，展示了第三方定製CPU接入NVLink Fusion生態的具體路徑。
從市場影響看，超大規模雲廠商AI資本支出的持續加速是貫穿本屆大會的核心敘事主線。儲存分析師Jim Handy指出，HBM每片晶圓產出的GB數僅為標準DDR的三分之一，加之過去十餘年行業幾乎沒有大規模新建晶圓廠，新建產能即便在激進時間表下也需約兩年，行業對當前需求衝擊的響應能力嚴重受限。HBM現貨價格已較此前水平上漲約7倍，三星、SK海力士、美光及主要NAND供應商均錄得異常強勁的營收增長。
Handy的分析勾勒出當前儲存市場的核心矛盾。需求側，幾乎所有主流AI加速器——包括輝達GPU、谷歌TPU及各類定製矽片——均依賴HBM；連部分網路元件也開始採用HBM，創造了數年前幾乎不存在的新需求類別。供給側，由於歷史上工藝微縮足以滿足位元增長，DRAM供應商已逾十年未進行大規模產能擴張，短期新建產能幾乎無望。Handy同時駁斥了“演算法效率提升將壓低硬體需求”的常見論斷。他認為，當一項新技術將記憶體需求降低6倍，超大規模雲廠商的典型反應是用相同預算處理6倍的Token，而非削減資本支出。效率提升改變的是AI基礎設施的生產力，未必減少投入其中的資金總量。
AI基礎設施的擴張同步收緊了NAND與HDD市場。META測試在TLC SSD與HDD之間部署低成本QLC SSD後發現效能改善，促使超大規模資料中心更廣泛地採用SSD；AI基礎設施對HDD需求的拉動也已造成短缺，QLC SSD隨之開始填補新儲存層級甚至替代缺貨HDD，助推NAND進入短缺狀態，鎧俠和閃迪（SNDK）從中受益。
美光HBM設計架構師Ragu從成本與物理極限兩個維度量化了HBM擴充套件的代價。在典型的包含4個12層HBM堆疊的GPU封裝中，記憶體矽片總量約為GPU矽片的8倍，意味著系統級封裝中約90%的矽片與記憶體相關。一個DRAM裸片失效即可影響整個封裝，可靠性挑戰隨堆疊高度增加而顯著加劇。Ragu引用Meta公佈的Llama 3研究資料：約17%的非預期訓練中斷歸因於HBM。這一資料直接揭示了HBM可靠性對大規模AI訓練叢集的實質性影響。
散熱問題已上升為首要架構約束。HBM基礎底片是發熱最嚴重的區域之一，熱量從底部產生而散熱裝置位於DRAM堆疊上方，迫使熱量穿越每一層。美光表示，HBM從設計之初就越來越多地圍繞散熱限制展開，區域性功率密度和熱點已與總功耗同等重要。在堆疊極限方面，美光認為16層HBM在技術路徑上可行，但JEDEC討論的20層堆疊仍面臨大量未解難題——TSV密度、功率密度、散熱、機械完整性及製造良率均構成嚴苛約束，而非訊號傳輸距離本身（整個堆疊高度仍低於約1毫米）。
從頻寬擴充套件路徑看，HBM通過極度並行化實現效能躍升：HBM3E每個DRAM裸片有128個Bank，HBM4增至256個；外部介面I/O線路在介面長度（shoreline）基本不變的情況下從約1,000條翻倍至2,000條。HBM由此從HBM1的128 GB/s頻寬與1 GB容量，擴充套件至HBM4的超過2.8 TB/s頻寬與單顆24 GB以上容量，代價是持續攀升的矽片消耗強度。美光預期，隨著AI工作負載細分，HBM將從通用產品走向針對特定工作負載的定製化架構，處理器與配對記憶體將日益協同最佳化。封裝技術也將從微凸塊（micro-bumps）和熱壓鍵合向個位數微米間距的熔融鍵合（fusion bonding）和混合鍵合（hybrid bonding）演進。
三星的三階段路線圖是本屆大會最具前瞻性的技術披露之一。第一階段聚焦於將記憶體控制器從XPU遷移至定製化HBM base die。三星估算，控制器約佔XPU矽片面積的5%至10%，將這部分空間釋放給計算核心有望使效能提升10%至20%。三星表示，大多數客戶正在積極探索這一架構。第二階段利用定製化HBM base die周圍未使用的邊緣區域（shoreline），通過專用控制器和PHY直接連線第二層記憶體，預計延遲和頻寬表現將優於基於PCIe的擴充套件方案，該第二層記憶體可以是LPDDR甚至HBF。三星認為，隨著上下文視窗和KV快取擴大，容量的重要性已接近頻寬。
第三階段即ZHBM：取消傳統2.5D中介層，將HBM直接垂直集成於XPU頂部。通過移除橫向PHY/D2D路徑，I/O和TSV結構可遍佈整個晶片投影區域，目標能效約0.5 pJ/bit，總DRAM功耗較HBM5降低約70%，絕對功耗降幅超過100W。不過，當前散熱限制指向約4層堆疊，而非12層或16層，距離工程化落地仍有相當距離。三星在計算解除安裝策略上保持克制：散熱限制使得在base die中放置大量密集計算單元並不合理，優先選擇將LLM推理中記憶體受限的Attention計算解除安裝至HBM，計算密集型的Prefill和FFN仍保留在XPU。介面策略上，三星目前傾向於專有HBM廠商介面而非UCIe，理由是UCIe面積更大且功耗更高；其散熱路徑塊（Heat Path Block）在覆蓋足夠熱點區域時可將峰值溫度降低35%以上。ZHBM還要求在小於6微米間距下實現晶圓級整合和混合銅鍵合，DRAM與SoC設計之間長期存在的邊界必須消除，兩者需從設計之初就圍繞佈線、散熱、功率密度和物理互連進行協同設計。
SK海力士的演講聚焦於從12層向16層乃至20層擴充套件的封裝工程挑戰。在其16層HBM3E測試晶片中，即便將總堆疊厚度從720微米增至775微米，單個DRAM裸片厚度仍需比12層方案減薄約10%，片間間隙縮小約50%，晶片翹曲控制與間隙填充難度大幅上升。SK海力士指出，HBM4的總厚度775微米已接近當前封裝方法的實際極限，未來擴充套件不能無限依賴增加封裝高度。對於混合鍵合，SK海力士認為其在20層左右將變得極具吸引力，但預計HBM4E階段尚不會採用。假設的20層堆疊中，裸片厚度可增加約20%至24%，熱導率提升約35%。即便如此，混合鍵合也無法解決base die區域性熱點問題——SK海力士正在開發IHBM，通過在熱點區域上方新增矽散熱塊改善區域性散熱，且需從設計初期協同最佳化，而非後期追加。SK海力士還判斷，訓練與推理最終可能採用不同的記憶體架構：訓練需要兼顧高頻寬與高容量，支援堆疊高度持續增加；推理則可能採用較小規模的極高頻寬記憶體池，將頻寬不敏感資料放置於LPDDR或其他低成本層級。
輝達的演講標誌著其AI生態系統策略的實質性進展。一年前，將CUDA引入RISC-V面臨的最大障礙是缺乏合適的RVA23硬體；如今，輝達實驗室已擁有至少三款RVA23處理器，SiFive在Hot Chips大會期間完成了CUDA在RISC-V硬體上執行的首次公開演示。輝達演講者Franz明確，其出發點是符合RVA23配置檔案和RISC-V伺服器平台規範，輝達不希望為CUDA制定單獨的RISC-V規範。CUDA的特定額外要求僅約兩頁，核心包括PCIe快取一致性（避免GPU DMA過程中的顯式CPU快取操作）和PCIe點對點通訊（支援GPU間直接資料交換）。NVLink Fusion為這一路徑提供了商業邏輯：客戶可使用定製CPU或加速器，同時保留輝達大部分機架級架構。RISC-V CPU由此可在專用系統中替代輝達基於ARM的主機處理器，關鍵要求是整合輝達C2C網路——該網路可提供高達PCIe約5倍的頻寬和一致性。Franz的明確表態是，RISC-V的吸引力不在於x86或ARM的不足，而在於眾多廠商可針對重要利基市場進行定製化實現，而這些市場未必能獲得大型現有CPU供應商的專項支援。
配合輝達的推進，Canonical已在Ubuntu 26.04 LTS中將RVA23設為官方RISC-V基準，約95%的常規Linux軟體包存檔已可用；RISC-V國際基金會及SiFive的Krste Asanović表示，多家供應商將於今年向市場推出RVA23伺服器級晶片，大部分矩陣擴充套件工作預計在未來12至18個月內完成批准。RISC-V軟體與硬體生態的協同成熟度正在加速提升。