在AI晶片算力飛速攀升的當下,記憶體子系統正成為制約大模型推理效能的關鍵瓶頸。傳統HBM(高頻寬記憶體)通過垂直堆疊DRAM晶片並藉助矽通孔(TSV)和矽中介層與GPU緊密互連,提供了遠超常規記憶體的頻寬,但堆疊層數越高,熱量越難從中間層匯出,訊號完整性和封裝成本壓力也隨之加劇。在2026年6月舉行的IEEE/JSAP VLSI技術與電路研討會上,來自韓國和日本的兩支研究團隊分別展示了兩種顛覆性的“側立式”記憶體整合方案,試圖從物理結構上打破這一困局。
韓國蔚山科學技術院(UNIST)提出的V-Die(Vertical-Die)方案,核心思路是將定製DRAM晶片旋轉90度直立放置,徹底移除傳統HBM中貫穿晶片的TSV,轉而利用每片DRAM底邊上的獨立I/O介面直接與基板連線。研究人員稱,這種佈局的連線密度可達HBM4的四倍,記憶體讀取時間縮短37%。更關鍵的是散熱設計:在相鄰直立晶片之間嵌入微流控液冷通道,使冷卻液能緊貼熱源帶走熱量,模擬顯示可將堆疊溫度維持在45°C左右,遠低於高密度HBM系統常見的80°C以上。在與H100級別硬體匹配、執行GPT-3規模模型的模擬測試中,16晶片V-Die堆疊實現了每秒540個token的吞吐量,而同等容量的HBM4系統為296個token,首token延遲也降低了32%(約24毫秒)。
日本東京大學主導的MOSAIC專案同樣採用側立堆疊思路,但更側重於解決製造可行性。由於晶片平放組裝後再整體翻轉直立,數十片DRAM的厚度公差累積會導致對齊難題。MOSAIC通過正交晶片堆疊和非接觸式晶片間介面來規避物理觸點對位精度的苛刻要求——資料通過微型電感線圈以電磁耦合方式傳輸,原型介面單通道速率達到4Gbps。研究人員指出,這種結構在“DRAM直接集成於GPU之上”的配置中,有望將HBM4級別的容量翻倍。
兩項研究共同指向一個產業現實:當前AI加速器的算力增長遠超記憶體頻寬增速,“記憶體牆”問題日益突出。以輝達Blackwell Ultra B300為例,其搭載的288GB HBM3E記憶體若頻寬不足,大量計算單元將因等待資料而閒置。儘管SK海力士、三星、美光等巨頭已在HBM4及後續路線圖中引入iHBM嵌入式冷卻、Heat Path Block散熱塊等改進,但均未跳出垂直堆疊的基本框架。V-Die和MOSAIC的側立式設計相當於將記憶體堆疊從“厚棉被”變為“散熱鰭片”,讓熱量可以橫向快速匯出,同時為更靈活的互連佈線打開了空間。
當然,這些方案目前仍處於學術原型和模擬階段,距離商業化量產尚有諸多挑戰,包括晶片厚度一致性、大規模組裝良率、與現有GPU封裝標準的相容性等。但它們為AI記憶體的演進提供了全新的技術路徑:如果側立式堆疊能夠成熟,未來GPU可能不再受制於HBM的散熱天花板,從而在同等功耗下支撐更大規模的模型推理,這對資料中心能效和AI晶片架構都將產生深遠影響。