海豚研究在最新复盘中提出，回望2025年下半年，AI硬件产业链出现了一个关键拐点：在此之前，以英伟达GPU为代表的算力是舞台中央的主角；在此之后，内存（DRAM）、闪存（NAND）和硬盘（HDD）等存力接棒，成为整条产业链中最大的卡点。据其梳理，DDR5内存价格自2025年9月后的半年内飙涨约7至9倍，NAND闪存同期涨幅约4至5倍，美光与海力士两家内存龙头股价在半年内一度录得约10倍涨幅。该系列研究以闪迪为对象初步探讨过NAND闪存，本篇则转向更稀缺的高性能内存HBM，从底层技术角度展开分析。

文章认为，AI对存力的需求突然爆发，可以从容量与速度两个维度理解。容量方面，一是模型参数走高：旗舰级模型总参数量在过去三四年间增长约几十倍，以Qwen系列为例，从初代到Qwen3.8 Max，总参数量从720亿增至约2.4T，单个模型实例存储参数所需内存从135GB升至近2300GB，约为原先的17倍。二是推理缓存：上下文容量同期扩大约31倍，但因缓存技术进步，单会话所需缓存容量增幅远小于此，Qwen3.8 Max单会话缓存约36GB，仅比Qwen2.5高约12%；不过用户数与会话数激增，使缓存总需求仍可能增长数十乃至上百倍。以同时处理32个会话为例，Qwen3.8 Max实例所需总内存（参数加KV缓存）约3.6TB。三是Agent带来的文档、表格等操作也会产生内存与闪存需求。

速度方面，文章强调其重要性可能更高。以英伟达芯片为例，从B100到VR200，算力已是原先的5倍（基于FP4 dense精度），对内存带宽的要求自然水涨船高。若芯片每秒能计算1GB数据而内存每秒只能输送0.5GB，GPU将有近一半时间闲置等待内存。现实中，从B100到GB300，五代GPU内存带宽一直卡在8TB/s（均用HBM3e），带宽与算力比值从1.1走低到0.5；VR200采用新一代HBM4后带宽大幅提升至22TB/s，但算力同样提升2至3倍，比值也仅0.6，内存带宽仍是系统相对瓶颈。另一原因是推理计算量随生成Token数量以平方而非线性增长——生成上下文多10倍，需读取的数据量约增100倍。据测算，Qwen3.8 Max在已有100k上下文基础上生成100k新Token，所需数据读取量级约500TB。软件层面，模型架构从致密转向稀疏、注意力从全注意力转向混合或线性注意力，降低了对硬件的读写要求，但杰文斯悖论下，新模型会以更大参数和上下文把省出的资源重新用满。

文章还区分了训练与推理阶段：训练对内存容量要求高于传输速度，因需存储参数中间状态且精度要求更高，容量可达推理阶段的8至16倍，但训练集群可整体服务一个模型，容量相对富余；推理阶段集群被切分，单模型实体可用资源仅几十到数百卡，容量瓶颈更明显。训练时计算强度高，GPU算力能被用满，不易因等待数据传输而闲置。

至于HBM为何脱颖而出，文章指出其内存颗粒与常见DDR并无质的区别，核心差异在架构与封装：一是DRAM Die在竖直空间内层层堆叠，二是与GPU安装在同一硅中介层上共同封装。关键部件包括DRAM Die、Logic Die或Base die、TSV硅通孔和Interposer。堆叠技术提升容量，是因为内存制程受物理限制难以做小，目前最先进仅11至12nm，预计2030年也仅约10nm，远落后于逻辑芯片的2至3nm，因此只能向垂直方向堆叠；最新HBM4堆叠层数已达12层，为初代的3倍，据部分报道2026至2027年之交新一代HBM将推高到16层。而无法平铺的原因在于高性能GPU可用于安装内存的空间有限，HBM需紧贴计算核心，I/O只能布置在核心四边，还要留位给内部通信与外部通信模块，水平空间受限，只能垂直堆叠。

技术难点方面，堆叠带来的首个问题是层间如何互通，这依赖TSV硅通孔——在硅片中垂直打孔并填充铜作为导体，再以微凸块上下联通，同时保留间隙防短路并利于散热。TSV本身各厂均可制造，但额外工艺意味着更高成本与更低良率，其设计布局与良率也是区分厂商优劣的一点。焊接工艺上，海力士采用MR-MUF（回流焊加液态树脂），三星与美光采用TC-NCF（热压加非导电膜）。文章对比称，MR-MUF一次性完成焊接与填充，效率更高、良率更高、散热更好，因而毛利率更高，是海力士的关键竞争优势之一；TC-NCF需逐层热压，一层出错整体报废，反复热压也易导致薄硅片弯曲开裂或凸点损坏。三星与美光未模仿MR，一方面因海力士申请了多项专利且关键液态树脂与上游供应商合作研发，另一方面两家已在TC工艺上投入大量研发与设备。