SK海力士本周在圣何塞举行的FMS 2026大会上，展示了与闪迪合作开发的高带宽闪存（HBF）技术。这是一种新型垂直堆叠闪存，旨在应对AI推理中日益严峻的“内存墙”挑战。尽管距离量产还有一年，但HBF的支持者认为，它有望成为突破AI内存瓶颈的关键方案。

AI推理过程中，KV缓存（键值缓存）扮演着短期记忆的角色，存储先前查询的预计算结果。更大的KV缓存意味着AI服务提供商能为更多用户提供更长会话和更大上下文窗口。然而，理想情况下KV缓存应完全存放在紧邻GPU或AI加速器的HBM中，但HBM容量有限，通常仅三分之一用于KV缓存，其余分配给神经网络权重和工作数据。当KV缓存需求超出HBM容量时，数据便溢出到DRAM和企业级SSD，而SSD通过网络访问，速度远慢于HBM。

为应对这一瓶颈，英伟达推出了Context Memory Extension（CMX）架构，结合即将量产的BlueField-4 DPU、RoCE和自适应路由等技术，优化企业级闪存阵列上的KV缓存查询效率。各大闪存阵列厂商正加紧开发CMX产品，预计今秋BlueField-4 DPU出货时同步上市。

SK海力士与闪迪则另辟蹊径，通过3D封装技术将NAND闪存芯片垂直堆叠（类似HBM），实现每堆栈约512GB的存储密度，带宽预计在0.4TB/s至3.0TB/s之间。HBF将位于HBM与SSD之间，采用UCIe（Universal Chiplet Interconnect Express）作为连接协议，紧邻处理器部署，提供接近HBM的吞吐量，但容量更大、成本更低。第二代和第三代HBF预计每堆栈提供3TB/s读取带宽，与当前HBM4的3.3TB/s相当。HBF在物理尺寸、功耗和堆栈高度上也与HBM4接近，便于芯片制造商将其集成到未来的AI加速器中。

HBM技术本身也在快速演进。根据韩国科学技术院（KAIST）的路线图，HBM5预计2029年提供4TB/s带宽，HBM6在2032年达8TB/s，HBM7在2035年达24TB/s，HBM8在2038年达64TB/s，逐步逼近SRAM的100TB/s带宽水平。但SRAM成本高昂，且最大容量有限，如Cerebras Systems的芯片仅提供44GB片上SRAM。

HBF的一个明显短板是写入速度极慢，但KV缓存主要是只读操作，这恰好规避了该缺点，使其成为KV缓存扩展的潜在理想方案。今年2月，SK海力士与闪迪已在开放计算项目（OCP）框架下启动HBF标准化工作，谷歌和Tenstorrent已加入，预计更多企业将跟进。周四，SK海力士副总裁Lim Eui-cheol、闪迪副总裁Rajeev Nagabhirava和谷歌DeepMind高级职员工程师Xiaoyu Ma将参加FMS 2026小组讨论，主题为“用高带宽闪存打破内存墙”。SK海力士执行副总裁Kim Chun-sung表示，随着AI应用快速普及，整体数据处理架构必须重新设计，HBF将扩展内存与存储的边界，助力构建提升系统效率的新架构。