在 Hot Chips 2026 大会上，NVIDIA 详细披露了其下一代数据中心加速器 Rubin GPU 及其所在的 Vera Rubin NVL72 机架设计。NVIDIA 将这一平台定位为面向 Agentic AI 的全栈 AI 工厂解决方案，强调其不仅涉及芯片，而是对整个计算、网络、功耗和服务性架构的全面重构。
NVIDIA 在演讲中反复强调，Agentic AI 是其有史以来面对的最复杂工作负载，它需要将观察、推理和行动串联起来，涉及大语言模型、CPU、DPU、编排、安全、内存和网络等多个层面。为此，Vera Rubin 平台被设计为一个横跨 七种芯片 和 五种机架 的完整体系，集成了 Vera CPU、Rubin GPU、BlueField-4、Spectrum-6，甚至包括 Groq LPU，并在此基础上叠加了存储、网络、工具调用和沙箱支持。NVIDIA 认为，Agentic AI 需要所有这些层面的支持，从上下文和内存到横向扩展的网络结构。
在性能对比方面，NVIDIA 展示了一张图表，将 Vera Rubin NVL72 与之前的机架在“每兆瓦 token 数”这一交互性轴线上进行比较。结果显示，Vera Rubin NVL72 显著优于 Blackwell NVL72，更是远超 Hopper NVL8 时代（HGX H100/H200 八卡）的水平，位于高交互性区域。NVIDIA 引用 SemiAnalysis（Dylan 的）基准测试，在 AgentX 工作负载下，使用 DeepSeek-v4-PRO 模型、上下文长度超过 140K 时，Vera Rubin NVL72 在接近 6000 万总 token 标记处超越了 GB300 NVL72，并宣称随着交互性提升，每兆瓦 token 数可实现 10 倍 乃至最高 30 倍 的提升。
NVIDIA 指出，Agentic AI 改变了推理的优化目标。传统推理假设可预测的 I/O 和单一请求，而 Agentic 工作负载涉及工具调用、动态序列和跨端到端任务的多轮交互，输入序列长度从 1K 到 32K 的范围增长到 100K 和 400K，这对针对短固定提示优化的硬件构成了挑战。因此，NVIDIA 现在更关注每瓦 token 数、首 token 时间、有效寿命和平均中断时间（MTBI），而非单纯的算力，其核心目标是最大化平台在单位时间内的收入，即“token 收入”。
在硬件规格方面，NVIDIA 给出了 Rubin GPU 的 die 布局和工厂级规格。这些数据针对的是 100MW AI 工厂，而非单个 GPU。在该规模下，NVIDIA 标称其 NVFP4 推理性能为 2 ZFLOPS，训练性能为 1.4 ZFLOPS，并配备 11 PB 的 HBM4 内存和 800 PB/s 的内存带宽。该设计采用 NVLink 6 和 NVLink-C2C，以及第五代 PCIe x16 主机接口。NVIDIA 表示这些规格是在 DSX 和 MaxLPS 条件下的规模数据。
为应对 Agentic AI 带来的计算需求增长，NVIDIA 正在推进从 2023 年的 FP8 权重，到窄精度 NVFP4，再到 Rubin 在 2026 年引入的自适应稀疏性的演进。Rubin 的自适应稀疏性采用 2:4 稀疏格式，NVIDIA 称其比之前的 NVFP4 稀疏性更通用，可应用于整个 transformer 块，跳过 QKV、注意力投影和 MLP 前馈层中的近似零值。NVIDIA 声称大多数模型无需修改或微调即可使用，并可通过推理运行时中的标志选择启用。
稀疏化注意力是提升 token 吞吐量的关键。Rubin 仅保留重要的 token，NVIDIA 称这可使下游的 SoftMax 和 BMM2 操作速度提升约 2 倍。该稀疏注意力路径将密集核心保留给密集计算，并通过专门的稀疏化阶段处理 QKV 矩阵。NVIDIA 还表示，稀疏路径保留了准确性，并适用于训练和推理。
总体而言，NVIDIA 在 Hot Chips 2026 上的演讲清晰地展示了其面向 Agentic AI 时代的平台策略：不再仅仅追求单一芯片的峰值算力，而是通过全栈协同设计，优化整个 AI 工厂的 token 产出效率。这一方向将对整个 AI 基础设施的构建和投资产生深远影响。