輝達正式披露了其面向下一代 AI 工廠Vera CPU 架構細節,該處理器專為解決智慧體系統在大規模部署時遇到的 CPU 側瓶頸而設計。根據輝達開發者部落格公佈的資料,Vera CPU 在全插槽滿載狀態下,單核持續效能達到基線 CPU 的 1.8 倍,顯著改善了強化學習訓練吞吐量、策略梯度質量以及環境推演的完成率。

Vera CPU 採用 單片式計算晶片,整合 88 個 Olympus 核心、統一快取以及可擴充套件一致性互聯結構。與傳統的 x86 資料中心 CPU 相比,其峰值載入延遲降低了 40%,每核記憶體頻寬提升超過 3 倍,而功耗不到後者的一半。這些指標直接指向智慧體推理和互動式部署場景中對響應速度與能效的苛刻要求。

在智慧體系統中,模型推理只是整個工作流的一環。一個完整的智慧體任務通常需要串聯推理、工具呼叫、程式碼執行、檢索、編排和結果處理等多個步驟,而每一步之間的協調、沙箱化評估、KV 快取管理以及資料處理都落在 CPU 上。如果 CPU 處理速度跟不上,GPU 叢集就會面臨三重損失:強化學習每輪獲得的有效反饋減少,導致訓練時間膨脹;單個使用者的響應時間拉長;KV 快取被過早驅逐,迫使系統重新計算上下文,浪費寶貴的算力。

輝達給出的一個關鍵對比場景是強化學習的環境推演。在基線 CPU 上,由於單核效能不足,只有約 45% 的環境評估能在訓練視窗內完成,GPU 不得不空轉等待反饋。而 Vera CPU 憑藉更快的單核速度,可將這一比例提升至 85%,從而向 GPU 輸送更密集、更高質量的訓練訊號,加速模型收斂併產出更優的策略。

這一提升得益於 Olympus 核心的多項針對性設計:神經分支預測器用於應對 Python 程式碼、模擬器和獎勵邏輯中複雜的控制流;10 寬度解碼前端每週期向執行單元送入更多指令;深度亂序執行能力減少了不規則負載下的停頓;輝達自研的空間多執行緒技術則確保在擴充套件到數千個並行環境時,單核效能不會大幅衰減。

在線上部署端,Vera CPU 同樣瞄準了互動式智慧體的延遲約束。當智慧體自主執行一連串工具呼叫和程式碼編譯時,每一步的 CPU 處理時間都直接疊加到使用者感知的響應延遲上。Vera CPU 通過降低單步處理延遲並提高記憶體頻寬,使系統能夠在相同的 GPU 資源下服務更多併發使用者,同時更穩定地滿足服務等級協議。

從產業視角看,Vera CPU 的定位並非替代 GPU,而是作為 AI 工廠中 CPU-GPU 協同的關鍵一環。隨著智慧體應用從實驗走向規模化部署,基礎設施的瓶頸正從單純的算力總量轉向算力效率與系統級吞吐量。Vera CPU 試圖通過消除 CPU 側的停滯點,讓昂貴的 GPU 叢集保持更高的利用率,從而在單位時間內完成更多有效工作。這一思路與輝達從晶片到系統再到資料中心的垂直整合策略一脈相承,也為評估下一代 AI 基礎設施的總擁有成本提供了新的參考維度。