花旗发布的AI基础设施峰会纪要显示，AI基础设施的竞争重心正从单纯堆叠算力转向系统级优化。随着AI从模型训练进一步进入推理、智能体和长上下文工作流，算力芯片已不再是唯一瓶颈，网络互联、内存带宽与容量，以及数据在不同层级之间的传输效率，正成为下一阶段基础设施升级的关键。峰会第二天，博通、Marvell、三星及AWS集中阐述了各自在网络、存储和定制芯片领域的布局，释放出一个共同信号：AI工作负载持续复杂化后，基础设施需要同时解决互联效率、内存容量、带宽、功耗和成本等问题。

博通产品管理副总裁Hasan Siraj介绍了公司的AI网络布局。博通认为，以太网正在成为大规模AI基础设施的首选互联技术，Tomahawk和Jericho系列是其核心网络产品。目前博通已形成覆盖网卡（NIC）、交换机和软件的AI以太网方案。其中，Tomahawk系列持续以每代翻倍的速度提升带宽，最新Tomahawk 6达到102.4 Tbps，面向更大规模AI集群。博通称，更高的网络效率能够同步降低功耗、散热及基础设施运营成本，其方案相比替代方案可节省超过30%的五年总拥有成本（TCO）。这一表态将网络互联从配套角色推向决定AI集群经济性的核心变量。

Marvell数据中心网络集团执行副总裁兼总经理Dave Lazovsky则将重点放在内存层级。随着AI进入推理密集型和长上下文场景，KV缓存规模快速增长，可能超过HBM容量上限，系统因此需要从速度更慢的内存层级重新加载数据，甚至重新计算上下文。Marvell指出，这一过程会推高推理延迟、内存流量和功耗，成为AI系统进一步扩展的瓶颈。由此来看，未来AI基础设施不仅需要增加算力，也需要重新优化内存层级和数据传输路径，让数据能够更高效地在不同计算与存储层级之间流动。

三星DRAM产品规划与业务拓展副总裁In Dong Kim判断，AI将沿“生成式AI→智能体AI→物理AI”的路径演进。三星预计，训练需求将增长约3倍，推理需求可能增长约100倍，内存、存储、功耗和散热的重要性随之提升。三星预计，HBM4E将实现每GPU 16 TB/s带宽，性能功耗比相比HBM4提升20%；HBM5较HBM4E实现2倍性能提升。更激进的zHBM则被三星视为潜在颠覆性技术，其单GPU性能较HBM5提升4至8倍，性能功耗比提升3倍，热阻降低75%至90%。三星同时介绍了Z-NAND方案，采用SLC NAND与TSV堆叠，读取性能可比肩LPDDR5 DRAM，比特密度约为DRAM的10倍，预计2028年开始送样。

AWS则通过定制芯片提升AI系统效率。AWS基础AI模型、定制芯片及量子计算高级副总裁Peter DeSantis表示，公司已形成Graviton、Inferentia和Trainium自研芯片体系，并将Trainium的核心优势归结为“单位成本内存带宽”，认为这一指标直接影响AI训练经济性和token效率。这一思路与博通、Marvell、三星的取向一致：在算力规模之外，单位成本下的数据流动效率正成为衡量AI基础设施竞争力的关键标尺。

整体来看，随着AI从模型训练走向智能体和真实工作流，基础设施竞争的焦点也在发生变化。算力规模仍然重要，但网络连接、内存带宽与容量，以及数据传输效率，正成为决定AI系统性能和成本的关键变量。对产业链而言，这意味着交换芯片、高速以太网、HBM及先进存储、定制ASIC等环节的需求叙事正在强化，而单纯以算力芯片数量衡量AI基础设施能力的视角，可能越来越难以反映系统层面的真实瓶颈与成本结构。