圖形處理器（GPU）等大型AI晶片對記憶體的渴求似乎永無止境。當前資料中心普遍採用的高頻寬記憶體（HBM）已將DRAM晶片垂直堆疊至12層，但為了裝入更多資料和頻寬，記憶體製造商正試圖建造更高的堆疊。然而，這一路徑正面臨一個嚴峻的物理極限：熱量。工程師們擔憂，更高的HBM堆疊將積聚足以讓自身失效的熱量，尤其當GPU製造商未來選擇將HBM直接堆疊在已發熱嚴重的處理器上方以提升頻寬時，問題將更為突出。

面對這一“未來的沖天烈焰”，全球工程師正探索一種替代方案：將DRAM晶片從垂直堆疊改為側向並排排列，以期將發熱高塔轉變為冷卻的矽鰭立方體。在上月舉行的IEEE VLSI研討會上，兩個研究團隊分別展示了實現這一構想的不同技術路徑，為突破AI記憶體瓶頸提供了全新思路。

來自韓國蔚山國立科學技術院（UNIST）的研究團隊，與韓巴國立大學合作，提出了一種名為V-Die的解決方案。該方案將DRAM垂直堆疊後，整體旋轉90度側立放置，並在晶片之間整合微流冷卻通道，以將工作溫度維持在45℃，遠低於當前HBM常見的80℃以上峰值溫度。據該團隊博士生Heesoo Yang介紹，由於無需垂直互連，晶片上省去了矽通孔（TSV），從而釋放出更多面積用於儲存單元。同時，每片晶片都擁有獨立的輸入/輸出系統，直接通過底部邊緣的密集連線點與GPU所在的矽基板相連，連線數量可達HBM4的四倍。

團隊模擬了在搭載輝達H100 GPU的AI計算機上，採用16片V-Die堆疊的效能表現。在執行代表GPT-3規模大語言模型的工作負載時，V-Die系統實現了每秒540個token的處理速度，而同等記憶體容量的HBM4僅為296個token，效能提升高達82%。同時，記憶體讀取延遲降低了32%，約24毫秒。目前，一個用於驗證熱學和電氣特性的原型裝置正在開發中。

另一條路徑來自日本。由東京大學、東北大學和日本國立研究機構理化學研究所（Riken）組成的聯合團隊，展示了一種名為MOSAIC的方案。該方案同樣採用側向堆疊思路，但其核心創新在於解決側立晶片與基板連線的精密對準難題。團隊開發了一種電感耦合收發器系統，在記憶體晶片底部和基板上分別製作長方形線圈，通過電流產生的磁場來傳輸資料訊號。由於線圈無需完全精確重疊，這為晶片的整合提供了極大的容錯空間。模擬結果顯示，MOSAIC方案可在不使峰值溫度上升超過1℃的前提下，提供兩倍於HBM4的記憶體容量。

這些有時被稱為“體積DRAM”的方案，其製造過程實際上是先將晶片逐層堆疊，再將整個堆疊體側立過來連線到基板或其他晶片上。比利時微電子研究中心（Imec）的專案總監James Myers指出，這可能會帶來棘手的整合問題，因為各DRAM晶片之間哪怕僅幾微米的厚度差異，累積起來都可能導致與基板的連線焊盤錯位。他所在的團隊此前已解決了在GPU上堆疊DRAM的散熱問題，目前正研究在此場景下應用垂直晶片。

當前AI模型的規模正呈爆炸式增長，而記憶體容量和頻寬的提升速度已明顯滯後，形成了巨大的瓶頸。無論是韓國的V-Die還是日本的MOSAIC，這些探索都指向了後HBM時代的一種可能形態：通過將記憶體堆疊從“向上生長”轉為“橫向排列”，在控制熱量的同時，打破容量與頻寬之間的權衡，為下一代AI加速器提供更強大的資料供給能力。