在 Hot Chips 2026 大會上，NVIDIA 詳細披露了其下一代資料中心加速器 Rubin GPU 及其所在的 Vera Rubin NVL72 機架設計。NVIDIA 將這一平台定位為面向 Agentic AI 的全棧 AI 工廠解決方案，強調其不僅涉及晶片，而是對整個計算、網路、功耗和服務性架構的全面重構。
NVIDIA 在演講中反覆強調，Agentic AI 是其有史以來面對的最複雜工作負載，它需要將觀察、推理和行動串聯起來，涉及大語言模型、CPU、DPU、編排、安全、記憶體和網路等多個層面。為此，Vera Rubin 平台被設計為一個橫跨 七種晶片 和 五種機架 的完整體系，集成了 Vera CPU、Rubin GPU、BlueField-4、Spectrum-6，甚至包括 Groq LPU，並在此基礎上疊加了儲存、網路、工具呼叫和沙箱支援。NVIDIA 認為，Agentic AI 需要所有這些層面的支援，從上下文和記憶體到橫向擴充套件的網路結構。
在效能對比方面，NVIDIA 展示了一張圖表，將 Vera Rubin NVL72 與之前的機架在“每兆瓦 token 數”這一互動性軸線上進行比較。結果顯示，Vera Rubin NVL72 顯著優於 Blackwell NVL72，更是遠超 Hopper NVL8 時代（HGX H100/H200 八卡）的水平，位於高互動性區域。NVIDIA 引用 SemiAnalysis（Dylan 的）基準測試，在 AgentX 工作負載下，使用 DeepSeek-v4-PRO 模型、上下文長度超過 140K 時，Vera Rubin NVL72 在接近 6000 萬總 token 標記處超越了 GB300 NVL72，並宣稱隨著互動性提升，每兆瓦 token 數可實現 10 倍 乃至最高 30 倍 的提升。
NVIDIA 指出，Agentic AI 改變了推理的最佳化目標。傳統推理假設可預測的 I/O 和單一請求，而 Agentic 工作負載涉及工具呼叫、動態序列和跨端到端任務的多輪互動，輸入序列長度從 1K 到 32K 的範圍增長到 100K 和 400K，這對針對短固定提示最佳化的硬體構成了挑戰。因此，NVIDIA 現在更關注每瓦 token 數、首 token 時間、有效壽命和平均中斷時間（MTBI），而非單純的算力，其核心目標是最大化平台在單位時間內的收入，即“token 收入”。
在硬體規格方面，NVIDIA 給出了 Rubin GPU 的 die 佈局和工廠級規格。這些資料針對的是 100MW AI 工廠，而非單個 GPU。在該規模下，NVIDIA 標稱其 NVFP4 推理效能為 2 ZFLOPS，訓練效能為 1.4 ZFLOPS，並配備 11 PB 的 HBM4 記憶體和 800 PB/s 的記憶體頻寬。該設計採用 NVLink 6 和 NVLink-C2C，以及第五代 PCIe x16 主機介面。NVIDIA 表示這些規格是在 DSX 和 MaxLPS 條件下的規模資料。
為應對 Agentic AI 帶來的計算需求增長，NVIDIA 正在推進從 2023 年的 FP8 權重，到窄精度 NVFP4，再到 Rubin 在 2026 年引入的自適應稀疏性的演進。Rubin 的自適應稀疏性採用 2:4 稀疏格式，NVIDIA 稱其比之前的 NVFP4 稀疏性更通用，可應用於整個 transformer 塊，跳過 QKV、注意力投影和 MLP 前饋層中的近似零值。NVIDIA 聲稱大多數模型無需修改或微調即可使用，並可通過推理執行時中的標誌選擇啟用。
稀疏化注意力是提升 token 吞吐量的關鍵。Rubin 僅保留重要的 token，NVIDIA 稱這可使下游的 SoftMax 和 BMM2 操作速度提升約 2 倍。該稀疏注意力路徑將密集核心保留給密集計算，並通過專門的稀疏化階段處理 QKV 矩陣。NVIDIA 還表示，稀疏路徑保留了準確性，並適用於訓練和推理。
總體而言，NVIDIA 在 Hot Chips 2026 上的演講清晰地展示了其面向 Agentic AI 時代的平台策略：不再僅僅追求單一晶片的峰值算力，而是通過全棧協同設計，最佳化整個 AI 工廠的 token 產出效率。這一方向將對整個 AI 基礎設施的構建和投資產生深遠影響。