人工智能对内存的需求正从高带宽内存（HBM）扩展至传统DRAM、NAND闪存及存储，Bernstein分析师认为，AI正在制造日益严重的“内存瓶颈”，投资机会将越来越取决于具体AI工作负载。这一判断意味着，内存产业链的投资逻辑正在从单一HBM转向更广泛的存储层级。
Bernstein在最新报告中指出，训练、推理、检索增强生成（RAG）和智能体AI（agentic AI）对内存堆栈提出了不同要求。训练阶段高度依赖计算能力，内存带宽限制着模型规模和计算速度，HBM在其中扮演核心角色，但大规模训练同样需要系统DRAM、本地SSD和网络存储来处理数据集、缓存和检查点。
推理阶段则呈现不同挑战。初始的“预填充”（prefill）阶段——AI模型处理提示并生成第一个token的过程——主要受计算限制，GPU和HBM更为关键；随后的“解码”（decode）阶段则受内存限制。模型将先前token存储在键值（KV）缓存中，其需求随上下文长度和并发用户数而增长。Bernstein表示，在大型部署中，KV缓存所需内存可能超过模型权重，从而限制AI服务可支持的用户数量。
这种压力正催生新的内存层级，包括CXL内存、英伟达的“Storage Next”计划以及CMX上下文存储，与HBM、传统DRAM和SSD并存。这些新兴技术旨在平衡性能、容量和成本，因为AI系统需要更大的内存池。
检索增强生成（RAG）可能进一步扩大需求。Bernstein称，构建RAG数据库需要大量SSD或HDD容量以及系统DRAM，当这些数据库被搜索时，DRAM的作用更加突出。智能体AI则可能进一步加剧需求，因为自主系统需要保留中间结果、与外部工具交互并在智能体之间传递输出，这会迅速增加KV缓存需求，同时提高对传统服务器中CPU和常规内存的要求。
内存制造商也在开发高带宽闪存等技术，试图将HBM的带宽与NAND的更大容量和更低成本相结合。Bernstein指出，技术挑战仍然很高。
在评级方面，Bernstein对三星电子、SK海力士、美光、SanDisk、希捷和西部数据给予“跑赢大盘”评级，而对铠侠（Kioxia）给予“跑输大盘”评级。这一评级分布显示，分析师认为传统存储巨头在AI内存扩展中更具优势，而部分专注NAND的厂商可能面临挑战。
对于AI产业投资者而言，内存瓶颈的演变意味着，除了GPU和HBM，DRAM、NAND和存储设备的需求也将持续增长，这可能影响整个算力基础设施的投资节奏。随着AI从训练走向大规模推理和智能体应用，内存架构的优化将成为决定AI服务成本与性能的关键因素。