在AI芯片算力飞速攀升的当下,内存子系统正成为制约大模型推理性能的关键瓶颈。传统HBM(高带宽内存)通过垂直堆叠DRAM芯片并借助硅通孔(TSV)和硅中介层与GPU紧密互连,提供了远超常规内存的带宽,但堆叠层数越高,热量越难从中间层导出,信号完整性和封装成本压力也随之加剧。在2026年6月举行的IEEE/JSAP VLSI技术与电路研讨会上,来自韩国和日本的两支研究团队分别展示了两种颠覆性的“侧立式”内存集成方案,试图从物理结构上打破这一困局。
韩国蔚山科学技术院(UNIST)提出的V-Die(Vertical-Die)方案,核心思路是将定制DRAM芯片旋转90度直立放置,彻底移除传统HBM中贯穿芯片的TSV,转而利用每片DRAM底边上的独立I/O接口直接与基板连接。研究人员称,这种布局的连接密度可达HBM4的四倍,内存读取时间缩短37%。更关键的是散热设计:在相邻直立芯片之间嵌入微流控液冷通道,使冷却液能紧贴热源带走热量,模拟显示可将堆叠温度维持在45°C左右,远低于高密度HBM系统常见的80°C以上。在与H100级别硬件匹配、运行GPT-3规模模型的模拟测试中,16芯片V-Die堆叠实现了每秒540个token的吞吐量,而同等容量的HBM4系统为296个token,首token延迟也降低了32%(约24毫秒)。
日本东京大学主导的MOSAIC项目同样采用侧立堆叠思路,但更侧重于解决制造可行性。由于芯片平放组装后再整体翻转直立,数十片DRAM的厚度公差累积会导致对齐难题。MOSAIC通过正交芯片堆叠和非接触式芯片间接口来规避物理触点对位精度的苛刻要求——数据通过微型电感线圈以电磁耦合方式传输,原型接口单通道速率达到4Gbps。研究人员指出,这种结构在“DRAM直接集成于GPU之上”的配置中,有望将HBM4级别的容量翻倍。
两项研究共同指向一个产业现实:当前AI加速器的算力增长远超内存带宽增速,“内存墙”问题日益突出。以英伟达Blackwell Ultra B300为例,其搭载的288GB HBM3E内存若带宽不足,大量计算单元将因等待数据而闲置。尽管SK海力士、三星、美光等巨头已在HBM4及后续路线图中引入iHBM嵌入式冷却、Heat Path Block散热块等改进,但均未跳出垂直堆叠的基本框架。V-Die和MOSAIC的侧立式设计相当于将内存堆叠从“厚棉被”变为“散热鳍片”,让热量可以横向快速导出,同时为更灵活的互连布线打开了空间。
当然,这些方案目前仍处于学术原型和模拟阶段,距离商业化量产尚有诸多挑战,包括芯片厚度一致性、大规模组装良率、与现有GPU封装标准的兼容性等。但它们为AI内存的演进提供了全新的技术路径:如果侧立式堆叠能够成熟,未来GPU可能不再受制于HBM的散热天花板,从而在同等功耗下支撑更大规模的模型推理,这对数据中心能效和AI芯片架构都将产生深远影响。