英伟达Vera Rubin平台的发布，正在将下一代AI基础设施的竞争焦点从“谁拥有更快的GPU”推向“谁能建成效率更高的Token工厂”。这一转变的核心在于，随着AI工作负载从单次大规模训练扩展到智能体系统的持续运行，衡量标准已从单芯片峰值算力，转向在固定电力、机房空间和资本投入下，系统能够持续生成多少Token、每百万Token成本几何，以及数万加速器能否长期稳定运行。
Vera Rubin NVL72是这套新架构的计算引擎。它集成了72颗Rubin GPU和36颗Vera CPU，通过第六代NVLink铜质主干互联，可作为一个统一的大型加速器运行。单颗Rubin GPU提供288 GB HBM4显存和22 TB/s显存带宽，NVFP4推理性能达50 PFLOPS，训练性能达35 PFLOPS。整个NVL72机架拥有20.7 TB HBM4显存，NVLink 6为每颗GPU提供3.6 TB/s全互联带宽，使72颗GPU在非阻塞互联结构中协同工作。与Blackwell平台相比，Vera Rubin NVL72仅需四分之一数量的GPU即可训练大型混合专家模型，每瓦特推理吞吐量最高提升10倍，每Token成本降至十分之一。
在智能体场景中，CPU的角色正从传统的数据加载和任务调度，扩展为承担编译、执行、环境模拟和结果验证等控制密集型任务。Vera CPU采用88个英伟达自研Olympus Arm核心，通过空间多线程提供176个硬件线程，支持最高1.5 TB LPDDR5X内存和1.2 TB/s内存带宽，并通过1.8 TB/s NVLink-C2C与Rubin GPU建立一致性连接。官方数据显示，其任务完成速度比传统x86 CPU快1.8倍，智能体沙盒性能最高快50%。一个液冷Vera CPU机架最多容纳256颗CPU，可同时承载超过2.25万个强化学习或智能体沙盒环境。这意味着GPU继续负责高度并行的模型计算，而CPU则承担越来越多串行和分支密集型任务，以缩短智能体循环、减少GPU等待。
推理工作负载的预填充和解码两阶段对硬件需求截然不同。为此，英伟达将Groq 3 LPU纳入Vera Rubin平台，推出NVIDIA Groq 3 LPX机架，与NVL72组成异构推理系统。Rubin GPU负责预填充、长上下文处理和解码阶段的注意力计算，LPU则负责对时延敏感的前馈网络和MoE专家计算。一个LPX机架包含256颗Groq 3 LPU，提供128 GB片上SRAM、40 PB/s SRAM总带宽和315 PFLOPS FP8推理性能。英伟达称，Vera Rubin NVL72与LPX组合后，在万亿参数模型上每兆瓦推理吞吐量最高可达Blackwell平台的35倍，并带来最高10倍的收入机会。
网络已成为英伟达增长最快的业务之一。IDC数据显示，2026年第一季度，英伟达凭借Spectrum-X首次成为全球数据中心以太网交换机市场营收第一名，季度收入达21亿美元，占市场份额的21.5%，同比增长192.7%。这一市场此前长期由Cisco、Arista及博通生态厂商主导，英伟达的进入反映出AI计算与网络采购正在加速绑定。Spectrum-X通过交换机、网卡、GPU、通信库和应用软件的端到端协同设计，在自适应负载均衡、低尾时延和拥塞控制方面形成系统级优势，相较通用以太网可将部分AI工作负载的网络性能提高1.6倍。而引入CPO的Spectrum-X Ethernet Photonics平台，光互联功率效率最高提升5倍，持续运行时间提升5倍，系统韧性最高提升10倍，旨在让AI工厂在固定功率预算下连接更多GPU。
随着上下文长度和并发会话数量增加，KV Cache规模线性增长，成为与模型权重同样需要单独规划的基础设施资源。英伟达通过BlueField-4 STX和CMX上下文内存存储平台，在本地SSD与传统共享存储之间加入G3.5存储层，采用以太网连接的闪存为一个GPU POD提供PB级共享容量，专门保存对时延敏感的KV Cache。BlueField-4承担KV数据通路和NVMe-oF协议卸载，Dynamo与NIXL管理缓存分层和节点间迁移，Spectrum-X提供低时延RDMA网络。英伟达表示，CMX在长上下文和智能体推理中可带来最高5倍持续Token吞吐量，并比传统存储方案提高最高5倍能效。
从Vera Rubin NVL72、Vera CPU、Groq 3 LPX，到Spectrum-X、CPO、BlueField-4 STX和CMX，英伟达正在重新划分AI基础设施的职责边界。这套架构揭示出下一阶段AI工厂的核心逻辑：CPU、网络、存储或软件任何一个环节，都可能成为限制整条Token生产线的瓶颈。英伟达借此重构AI工厂的评价标准，将竞争从单纯比拼GPU算力，升级为系统级Token产能、单位能耗产出和万卡级长期稳定性的综合较量。