圖形處理器（GPU）等大型AI芯片對內存的渴求似乎永無止境。當前數據中心普遍採用的高帶寬內存（HBM）已將DRAM芯片垂直堆疊至12層，但為了裝入更多數據和帶寬，內存製造商正試圖建造更高的堆疊。然而，這一路徑正面臨一個嚴峻的物理極限：熱量。工程師們擔憂，更高的HBM堆疊將積聚足以讓自身失效的熱量，尤其當GPU製造商未來選擇將HBM直接堆疊在已發熱嚴重的處理器上方以提升帶寬時，問題將更為突出。

面對這一“未來的沖天烈焰”，全球工程師正探索一種替代方案：將DRAM芯片從垂直堆疊改為側向並排排列，以期將發熱高塔轉變為冷卻的硅鰭立方體。在上月舉行的IEEE VLSI研討會上，兩個研究團隊分別展示了實現這一構想的不同技術路徑，為突破AI內存瓶頸提供了全新思路。

來自韓國蔚山國立科學技術院（UNIST）的研究團隊，與韓巴國立大學合作，提出了一種名為V-Die的解決方案。該方案將DRAM垂直堆疊後，整體旋轉90度側立放置，並在芯片之間集成微流冷卻通道，以將工作溫度維持在45℃，遠低於當前HBM常見的80℃以上峰值溫度。據該團隊博士生Heesoo Yang介紹，由於無需垂直互連，芯片上省去了硅通孔（TSV），從而釋放出更多面積用於存儲單元。同時，每片芯片都擁有獨立的輸入/輸出系統，直接通過底部邊緣的密集連接點與GPU所在的硅基板相連，連接數量可達HBM4的四倍。

團隊模擬了在搭載英偉達H100 GPU的AI計算機上，採用16片V-Die堆疊的性能表現。在運行代表GPT-3規模大語言模型的工作負載時，V-Die系統實現了每秒540個token的處理速度，而同等內存容量的HBM4僅為296個token，性能提升高達82%。同時，內存讀取延遲降低了32%，約24毫秒。目前，一個用於驗證熱學和電氣特性的原型設備正在開發中。

另一條路徑來自日本。由東京大學、東北大學和日本國立研究機構理化學研究所（Riken）組成的聯合團隊，展示了一種名為MOSAIC的方案。該方案同樣採用側向堆疊思路，但其核心創新在於解決側立芯片與基板連接的精密對準難題。團隊開發了一種電感耦合收發器系統，在內存芯片底部和基板上分別製作長方形線圈，通過電流產生的磁場來傳輸數據信號。由於線圈無需完全精確重疊，這為芯片的集成提供了極大的容錯空間。模擬結果顯示，MOSAIC方案可在不使峰值溫度上升超過1℃的前提下，提供兩倍於HBM4的內存容量。

這些有時被稱為“體積DRAM”的方案，其製造過程實際上是先將芯片逐層堆疊，再將整個堆疊體側立過來連接到基板或其他芯片上。比利時微電子研究中心（Imec）的項目總監James Myers指出，這可能會帶來棘手的集成問題，因為各DRAM芯片之間哪怕僅幾微米的厚度差異，累積起來都可能導致與基板的連接焊盤錯位。他所在的團隊此前已解決了在GPU上堆疊DRAM的散熱問題，目前正研究在此場景下應用垂直芯片。

當前AI模型的規模正呈爆炸式增長，而內存容量和帶寬的提升速度已明顯滯後，形成了巨大的瓶頸。無論是韓國的V-Die還是日本的MOSAIC，這些探索都指向了後HBM時代的一種可能形態：通過將內存堆疊從“向上生長”轉為“橫向排列”，在控制熱量的同時，打破容量與帶寬之間的權衡，為下一代AI加速器提供更強大的數據供給能力。