輝達於 2026 年 8 月 26 日釋出了兩項關鍵技術——NVLink Fusion 和 NVHBM，旨在幫助超大規模雲廠商和 AI 原生公司將其自研的 AI 加速器（XPU）和 CPU 無縫整合到輝達的 AI 基礎設施平台中。這一舉措被視為輝達鞏固其在 AI 算力生態中核心地位的重要一步，同時也回應了 AI 工作負載對算力、記憶體頻寬和能效日益增長的需求。
隨著 AI 模型規模不斷擴大、推理任務日益複雜，超大規模雲廠商和 AI 原生公司紛紛開發定製化的 AI 加速器（XPU）。然而，將這些加速器大規模部署到資料中心，需要高頻寬記憶體（HBM）來持續供給計算單元，同時還需要足夠的封裝和矽片面積、高效的供電方案以及穩健的供應鏈。輝達的 NVLink Fusion 正是為此而設計，它提供了連線技術和 IP，使客戶能夠利用輝達的 scale-up 和 scale-out 技術棧、生態系統以及 MGX 機架級架構，降低開發和部署複雜性，提升效能，並加速半定製 AI 工廠的上市時間。
在封裝層面，NVHBM 是輝達與領先記憶體廠商共同設計和驗證的定製 HBM 基底晶片技術。相比標準 HBM4e，NVHBM 可提供最高 30% 的記憶體頻寬提升、25% 的計算芯片面積增加以及 15% 的 HBM 功耗降低，從而帶來整體 XPU 效能 30% 的提升。這些改進有助於定製 XPU 支援更大規模的模型、更快地讀取 KV 快取資料，並提升訓練和大規模推理的效率。
記憶體頻寬一直是 AI 加速器效能的關鍵瓶頸。更高的 HBM 速度能在給定封裝預算內提供更多可用頻寬，從而提升訓練和推理中頻寬密集型階段的效能。NVHBM 通過將記憶體控制器整合到 3D HBM 堆疊中、減少 I/O 面積需求，實現了面積節省，為計算資源和工作負載特定的加速最佳化騰出了更多空間。對於記憶體受限或部分記憶體受限的 AI 工作負載，這意味著更高的加速器利用率和吞吐量，尤其是在大模型推理中，能更快地在 HBM 和計算核心之間行動數據，從而提升每個使用者的 token 吞吐量。
NVLink Fusion 則通過其小晶片架構和第六代 NVLink 網路，將定製 XPU、CPU 和 GPU 在機架級連線起來，實現無縫的 scale-up 域。這對於使用專家並行（EP）或 WideEP 等高階路由技術尤為關鍵，因為不同專家分佈在不同的 GPU 上，需要在整個機架內進行高速同步。NVLink 作為 AI 工廠的 scale-up 網路結構，負責在專家之間傳輸啟用值和隱藏狀態，並幫助在 scale-up 域內同步分散式快取，而 NVHBM 則通過持續供給本地計算引擎來減少資料飢餓。
對於定製 AI 晶片設計者而言，每一平方毫米的芯片面積都至關重要。NVHBM 通過減少記憶體介面所需的面積，使團隊能夠將更多面積用於矩陣引擎、向量單元、片上 SRAM、快取層次結構、控制邏輯、網路片上等計算資源，從而針對推理服務、推薦系統、多模態流水線或內部訓練工作負載進行最佳化。此外，NVHBM 的功耗節省在數千個 XPU 的規模下累積起來，可顯著降低資料中心的運營成本。
輝達表示，NVLink Fusion 和 NVHBM 共同構成了一個統一的架構，使客戶能夠將定製 XPU 和 CPU 部署到輝達的 AI 基礎設施平台中，同時利用其成熟的軟體生態和機架級架構。這有望降低定製加速器專案的整合和驗證瓶頸，因為 NVHBM 基底晶片已與領先記憶體製造商完成驗證。
從產業角度看，這一發布可能對 AI 晶片產業鏈產生深遠影響。一方面，它降低了超大規模雲廠商和 AI 原生公司自研晶片的門檻，可能加速異構 AI 基礎設施的部署；另一方面，它也強化了輝達在 AI 算力生態中的樞紐地位，因為其技術棧和生態成為定製晶片落地的關鍵路徑。對於記憶體、封裝和網路裝置供應商而言，NVHBM 和 NVLink Fusion 的推廣可能帶來新的需求，但也可能重塑現有的供應鏈格局。
總體而言，輝達通過 NVLink Fusion 和 NVHBM 展示了其在 AI 基礎設施領域的前瞻佈局，旨在應對 AI 工作負載對算力、頻寬和能效的持續挑戰，同時為行業提供更靈活、更高效的定製化方案。