在AI芯片算力飛速攀升的當下,內存子系統正成為制約大模型推理性能的關鍵瓶頸。傳統HBM(高帶寬內存)通過垂直堆疊DRAM芯片並藉助硅通孔(TSV)和硅中介層與GPU緊密互連,提供了遠超常規內存的帶寬,但堆疊層數越高,熱量越難從中間層導出,信號完整性和封裝成本壓力也隨之加劇。在2026年6月舉行的IEEE/JSAP VLSI技術與電路研討會上,來自韓國和日本的兩支研究團隊分別展示了兩種顛覆性的“側立式”內存集成方案,試圖從物理結構上打破這一困局。
韓國蔚山科學技術院(UNIST)提出的V-Die(Vertical-Die)方案,核心思路是將定製DRAM芯片旋轉90度直立放置,徹底移除傳統HBM中貫穿芯片的TSV,轉而利用每片DRAM底邊上的獨立I/O接口直接與基板連接。研究人員稱,這種佈局的連接密度可達HBM4的四倍,內存讀取時間縮短37%。更關鍵的是散熱設計:在相鄰直立芯片之間嵌入微流控液冷通道,使冷卻液能緊貼熱源帶走熱量,模擬顯示可將堆疊溫度維持在45°C左右,遠低於高密度HBM系統常見的80°C以上。在與H100級別硬件匹配、運行GPT-3規模模型的模擬測試中,16芯片V-Die堆疊實現了每秒540個token的吞吐量,而同等容量的HBM4系統為296個token,首token延遲也降低了32%(約24毫秒)。
日本東京大學主導的MOSAIC項目同樣採用側立堆疊思路,但更側重於解決製造可行性。由於芯片平放組裝後再整體翻轉直立,數十片DRAM的厚度公差累積會導致對齊難題。MOSAIC通過正交芯片堆疊和非接觸式芯片間接口來規避物理觸點對位精度的苛刻要求——數據通過微型電感線圈以電磁耦合方式傳輸,原型接口單通道速率達到4Gbps。研究人員指出,這種結構在“DRAM直接集成於GPU之上”的配置中,有望將HBM4級別的容量翻倍。
兩項研究共同指向一個產業現實:當前AI加速器的算力增長遠超內存帶寬增速,“內存牆”問題日益突出。以英偉達Blackwell Ultra B300為例,其搭載的288GB HBM3E內存若帶寬不足,大量計算單元將因等待數據而閒置。儘管SK海力士、三星、美光等巨頭已在HBM4及後續路線圖中引入iHBM嵌入式冷卻、Heat Path Block散熱塊等改進,但均未跳出垂直堆疊的基本框架。V-Die和MOSAIC的側立式設計相當於將內存堆疊從“厚棉被”變為“散熱鰭片”,讓熱量可以橫向快速導出,同時為更靈活的互連佈線打開了空間。
當然,這些方案目前仍處於學術原型和模擬階段,距離商業化量產尚有諸多挑戰,包括芯片厚度一致性、大規模組裝良率、與現有GPU封裝標準的兼容性等。但它們為AI內存的演進提供了全新的技術路徑:如果側立式堆疊能夠成熟,未來GPU可能不再受制於HBM的散熱天花板,從而在同等功耗下支撐更大規模的模型推理,這對數據中心能效和AI芯片架構都將產生深遠影響。