在8月初舉行的未來儲存與記憶體峰會上,三星電子一口氣推出多項針對AI推理場景的儲存新技術,試圖以三維封裝手段化解業界所稱的“AI記憶體牆”——即記憶體頻寬不足制約AI推理效能的難題。三星高管Jin-Yub Lee在主題演講中披露了包括新型高頻寬記憶體zHBM、新型NAND zNAND-O以及第十代BV-NAND(V10)在內的三款產品,均圍繞“z軸”垂直堆疊思路設計,以縮短資料在記憶體與處理器之間的傳輸距離。
AI推理與訓練的基礎設施需求截然不同。訓練階段以計算密集型為主,依賴大量GPU並行處理,而推理階段則分為預填充和解碼兩個環節,其中解碼環節高度依賴記憶體頻寬,因為模型需從鍵值快取中順序讀取資料生成輸出。當HBM或DRAM容量不足時,資料會退而求其次存入本地SSD,進一步加劇延遲。三星的方案正是從矽片層面直接縮短記憶體與計算單元的距離。
zHBM是本次釋出的核心。與傳統將HBM堆疊置於處理器旁不同,zHBM將HBM直接垂直堆疊在AI加速器上方,從而大幅減少資料路徑。三星稱,zHBM的效能較尚在開發中的HBM5提升4至8倍,功耗效率提升3倍,熱阻改善50%。據韓國科學技術院圖表,HBM5計劃2029年交付,單堆疊頻寬達4TB/s,據此推算zHBM單堆疊頻寬可達16至32TB/s。zHBM採用三星自研的混合銅鍵合技術,可實現較HBM5高10倍的記憶體密度,但受限於晶片頂部面積,容量提升幅度可能略低於密度提升。
在NAND領域,三星推出zNAND-O,通過矽通孔技術將多個V-NAND晶片垂直堆疊,資料路徑置於晶片中部而非邊緣,實現低於3微秒的延遲、200至400GB/s的頻寬,並可通過3D堆疊提升至1TB/s以上。該技術有望用於智慧手機等裝置,改善離線狀態下AI模型的執行效能。同時,三星釋出第十代BV-NAND(V10),堆疊層數從V9的200層增至400層,位密度提升58%,寫入速度提升45%,I/O速度提升33%,可在相同空間內實現更高儲存容量。
業界對AI記憶體牆的應對路徑存在分歧。輝達與儲存廠商正通過DMX架構在儲存後端注入智慧,以加速鍵值快取呼叫;三星則選擇從矽片層面創新。分析人士指出,三星的3D封裝方案若落地,可能改變HBM與SSD市場的競爭格局,對輝達等AI晶片廠商的儲存配套產生深遠影響。不過,zHBM等技術的量產時間與成本尚未公佈,其實際效能提升仍需驗證。三星表示,三項釋出共同體現了“z軸”戰略,即在有限空間內最大化儲存容量與效能,同時最小化資料移動。