在8月初举行的未来存储与内存峰会上,三星电子一口气推出多项针对AI推理场景的存储新技术,试图以三维封装手段化解业界所称的“AI内存墙”——即内存带宽不足制约AI推理性能的难题。三星高管Jin-Yub Lee在主题演讲中披露了包括新型高带宽内存zHBM、新型NAND zNAND-O以及第十代BV-NAND(V10)在内的三款产品,均围绕“z轴”垂直堆叠思路设计,以缩短数据在内存与处理器之间的传输距离。
AI推理与训练的基础设施需求截然不同。训练阶段以计算密集型为主,依赖大量GPU并行处理,而推理阶段则分为预填充和解码两个环节,其中解码环节高度依赖内存带宽,因为模型需从键值缓存中顺序读取数据生成输出。当HBM或DRAM容量不足时,数据会退而求其次存入本地SSD,进一步加剧延迟。三星的方案正是从硅片层面直接缩短内存与计算单元的距离。
zHBM是本次发布的核心。与传统将HBM堆栈置于处理器旁不同,zHBM将HBM直接垂直堆叠在AI加速器上方,从而大幅减少数据路径。三星称,zHBM的性能较尚在开发中的HBM5提升4至8倍,功耗效率提升3倍,热阻改善50%。据韩国科学技术院图表,HBM5计划2029年交付,单堆栈带宽达4TB/s,据此推算zHBM单堆栈带宽可达16至32TB/s。zHBM采用三星自研的混合铜键合技术,可实现较HBM5高10倍的内存密度,但受限于芯片顶部面积,容量提升幅度可能略低于密度提升。
在NAND领域,三星推出zNAND-O,通过硅通孔技术将多个V-NAND芯片垂直堆叠,数据路径置于芯片中部而非边缘,实现低于3微秒的延迟、200至400GB/s的带宽,并可通过3D堆叠提升至1TB/s以上。该技术有望用于智能手机等设备,改善离线状态下AI模型的运行性能。同时,三星发布第十代BV-NAND(V10),堆叠层数从V9的200层增至400层,位密度提升58%,写入速度提升45%,I/O速度提升33%,可在相同空间内实现更高存储容量。
业界对AI内存墙的应对路径存在分歧。英伟达与存储厂商正通过DMX架构在存储后端注入智能,以加速键值缓存调用;三星则选择从硅片层面创新。分析人士指出,三星的3D封装方案若落地,可能改变HBM与SSD市场的竞争格局,对英伟达等AI芯片厂商的存储配套产生深远影响。不过,zHBM等技术的量产时间与成本尚未公布,其实际性能提升仍需验证。三星表示,三项发布共同体现了“z轴”战略,即在有限空间内最大化存储容量与性能,同时最小化数据移动。