海豚研究在最新覆盤中提出，回望2025年下半年，AI硬體產業鏈出現了一個關鍵拐點：在此之前，以輝達GPU為代表的算力是舞台中央的主角；在此之後，記憶體（DRAM）、快閃記憶體（NAND）和硬碟（HDD）等存力接棒，成為整條產業鏈中最大的卡點。據其梳理，DDR5記憶體價格自2025年9月後的半年內飆漲約7至9倍，NAND快閃記憶體同期漲幅約4至5倍，美光與海力士兩家記憶體龍頭股價在半年內一度錄得約10倍漲幅。該系列研究以閃迪為物件初步探討過NAND快閃記憶體，本篇則轉向更稀缺的高效能記憶體HBM，從底層技術角度展開分析。

文章認為，AI對存力的需求突然爆發，可以從容量與速度兩個維度理解。容量方面，一是模型引數走高：旗艦級模型總引數量在過去三四年間增長約幾十倍，以Qwen系列為例，從初代到Qwen3.8 Max，總引數量從720億增至約2.4T，單個模型例項儲存引數所需記憶體從135GB升至近2300GB，約為原先的17倍。二是推理快取：上下文容量同期擴大約31倍，但因快取技術進步，單會話所需快取容量增幅遠小於此，Qwen3.8 Max單會話快取約36GB，僅比Qwen2.5高約12%；不過使用者數與會話數激增，使快取總需求仍可能增長數十乃至上百倍。以同時處理32個會話為例，Qwen3.8 Max例項所需總記憶體（引數加KV快取）約3.6TB。三是Agent帶來的文件、表格等操作也會產生記憶體與快閃記憶體需求。

速度方面，文章強調其重要性可能更高。以輝達晶片為例，從B100到VR200，算力已是原先的5倍（基於FP4 dense精度），對記憶體頻寬的要求自然水漲船高。若晶片每秒能計算1GB資料而記憶體每秒只能輸送0.5GB，GPU將有近一半時間閒置等待記憶體。現實中，從B100到GB300，五代GPU記憶體頻寬一直卡在8TB/s（均用HBM3e），頻寬與算力比值從1.1走低到0.5；VR200採用新一代HBM4後頻寬大幅提升至22TB/s，但算力同樣提升2至3倍，比值也僅0.6，記憶體頻寬仍是系統相對瓶頸。另一原因是推理計算量隨生成Token數量以平方而非線性增長——生成上下文多10倍，需讀取的資料量約增100倍。據測算，Qwen3.8 Max在已有100k上下文基礎上生成100k新Token，所需資料讀取量級約500TB。軟體層面，模型架構從緻密轉向稀疏、注意力從全注意力轉向混合或線性注意力，降低了對硬體的讀寫要求，但傑文斯悖論下，新模型會以更大引數和上下文把省出的資源重新用滿。

文章還區分了訓練與推理階段：訓練對記憶體容量要求高於傳輸速度，因需儲存引數中間狀態且精度要求更高，容量可達推理階段的8至16倍，但訓練叢集可整體服務一個模型，容量相對富餘；推理階段叢集被切分，單模型實體可用資源僅幾十到數百卡，容量瓶頸更明顯。訓練時計算強度高，GPU算力能被用滿，不易因等待資料傳輸而閒置。

至於HBM為何脫穎而出，文章指出其記憶體顆粒與常見DDR並無質的區別，核心差異在架構與封裝：一是DRAM Die在豎直空間內層層堆疊，二是與GPU安裝在同一矽中介層上共同封裝。關鍵部件包括DRAM Die、Logic Die或Base die、TSV矽通孔和Interposer。堆疊技術提升容量，是因為記憶體製程受物理限制難以做小，目前最先進僅11至12nm，預計2030年也僅約10nm，遠落後於邏輯晶片的2至3nm，因此只能向垂直方向堆疊；最新HBM4堆疊層數已達12層，為初代的3倍，據部分報道2026至2027年之交新一代HBM將推高到16層。而無法平鋪的原因在於高效能GPU可用於安裝記憶體的空間有限，HBM需緊貼計算核心，I/O只能佈置在核心四邊，還要留位給內部通訊與外部通訊模組，水平空間受限，只能垂直堆疊。

技術難點方面，堆疊帶來的首個問題是層間如何互通，這依賴TSV矽通孔——在矽片中垂直打孔並填充銅作為導體，再以微凸塊上下聯通，同時保留間隙防短路並利於散熱。TSV本身各廠均可製造，但額外工藝意味著更高成本與更低良率，其設計佈局與良率也是區分廠商優劣的一點。焊接工藝上，海力士採用MR-MUF（迴流焊加液態樹脂），三星與美光采用TC-NCF（熱壓加非導電膜）。文章對比稱，MR-MUF一次性完成焊接與填充，效率更高、良率更高、散熱更好，因而毛利率更高，是海力士的關鍵競爭優勢之一；TC-NCF需逐層熱壓，一層出錯整體報廢，反覆熱壓也易導致薄矽片彎曲開裂或凸點損壞。三星與美光未模仿MR，一方面因海力士申請了多項專利且關鍵液態樹脂與上游供應商合作研發，另一方面兩家已在TC工藝上投入大量研發與裝置。