輝達首次直接挑戰英特爾和 AMD 在 CPU 領域的主導地位。隨著 Vera 的推出,這家 AI 晶片巨頭正試圖將其獨立 CPU 銷售給儘可能多的超大規模雲服務商和其他雲提供商。阿里巴巴、字節跳動、Meta、甲骨文、CoreWeave、Lambda、Nebius 和 NScale 已簽約在其雲中部署該晶片。作為輝達 Grace CPU 的繼任者,Vera 承諾提供 88 個定製 Armv9.2 核心、176 執行緒、支援高達 1.5 TB 的 LPDDR5X 記憶體,並且關鍵的是,它可以作為獨立於輝達 GPU 的單獨平台提供。

然而,除了大量關於它將如何成為 AI 領域最佳 CPU 的營銷宣傳外,Vera 的內部工作原理直到最近在很大程度上仍是個謎。上月底,輝達釋出了一份白皮書,首次披露了其首款完全定製 CPU 的細節,其設計比任何人預期的都要奇特得多。

表面上,輝達將 Vera 瞄準兩個關鍵工作負載:第一個也是最不令人意外的是作為 AI 頭節點,負責管理其即將推出的 Vera Rubin 系統中的 GPU;第二個更具爭議性的用途是作為 AI 代理的主機,與驅動它們的 LLM 不同,AI 代理實際上並不在 GPU 上執行。據我們瞭解,Vera 的大部分核心架構都基於消除流水線和執行瓶頸,以便在這些角色中更有效。

單晶片計算,多 die 記憶體和 I/O

揭開 Vera 相當厚實的散熱頂蓋,你會發現負責 I/O、記憶體和計算的各種 chiplet。然而,這並不是 AMD 推廣的 chiplet 架構的又一次翻版。與將數十個核心分佈在多個 die 上的 x86 處理器製造商不同,Vera 的計算 die 是單晶片的。所有 88 個核心都封裝在一塊大矽片上,據我們所知,該矽片採用台積電的 3nm 工藝製造。輝達認為,與競爭設計相比,其單晶片計算架構在核心間頻寬和延遲方面都有優勢。

圍繞計算 die 的是各種 chiplet,包括八個 LPDDR5x 控制器,以及兩個不同的 I/O die,一個負責 PCIe 6.4 和 CXL 3.1 連線,另一個專門用於晶片的 NVLink Chip-to-Chip 介面。在封裝設計方面,Vera 與亞馬遜的 Graviton 4 CPU 有些相似,後者也結合了單晶片計算 die,同時將 I/O 和記憶體功能分離到專用矽片上。

Vera CPU 超級晶片

與大多數現代資料中心 CPU 一樣,Vera 支援單路和雙路配置,後者被稱為 Vera CPU 超級晶片。該超級晶片於 3 月在 GTC 上釋出,通過 NVLink-C2C 連線兩個 Vera CPU,雙向頻寬高達 1.8 TB/s,總計 176 個核心352 個執行緒。兩個晶片由 16 個 SOCAMM2 LPDDR5x 記憶體模組供電,提供 2.4 TB/s 的聚合記憶體頻寬(每個 1.2 TB/s)——大約是 AMD 於 2024 年推出的 Turin Epyc 處理器頻寬的兩倍。輝達的智慧體 AI 參考設計要求在單個液冷機架中容納多達 128 個這樣的超級晶片(256 個 CPU),總計 22,528 個核心384 TB 記憶體。

登頂 Olympus

此前,輝達一直依賴 Arm 的現成 CPU 核心。例如,根據迭代版本的不同,輝達的 Grace CPU 使用了 Arm 的 Neoverse V2(GB200/300)、Neoverse V3(AGX Thor)或 Cortex X925 和 A725 核心(GB10),具體取決於哪個最方便。隨著 Vera 的推出,輝達轉向設計自己的 ARMv9.2 相容核心,名為 Olympus。事實上,這款晶片的定製程度還有待商榷。我們被告知,該晶片大量基於現有的 Arm IP,從 Olympus 的架構框圖可以看出原因。

Olympus 具有 10 寬解碼和排程、八個整數 ALU、六個向量/FP 流水線(SVE 128)、四個載入單元和兩個儲存單元。與 AMD Turin Epyc 中的 Zen 5 核心或 Intel Granite Rapids Xeon 使用的 Redwood Cove 核心相比,它的前端和後端都很龐大。但與現成的 Arm 核心相比,Olympus 的前端和後端並沒有打破任何記錄。事實上,Olympus 看起來很像經過大幅修改的 Cortex X925。

儘管如此,輝達聲稱 Olympus 具有完全定製的神經分支預測器,能夠同時探索兩個分支。分支預測是現代 CPU 效能的關鍵,涉及預測未來的程式碼路徑並在需要之前提前執行。通過每週期預測兩條路徑,Vera 降低了錯誤預測的可能性,理論上提高了效能。據我們所知,Vera 的許多定製都是為了消除流水線和執行氣泡,以最大化每時鐘指令數(IPC)。特別是,輝達聲稱其神經分支預測器比基於歷史的方法具有更高的命中率,非常適合執行分支密集型工作負載,例如 AI 程式碼助手即時生成的 Python 指令碼。

輝達還聲稱在核心中段進行了多項創新,旨在緩解流水線停頓。記憶體重新命名通過允許依賴指令在載入完成之前執行(如果能夠推斷出資料關係)來加速儲存到載入的依賴鏈。“這對於指標密集型軟體、圖遍歷、執行時框架和複雜的面向物件工作負載特別有益,”該公司解釋道。輝達還實現了一種值預測方案,該方案“識別穩定的依賴鏈並在值產生之前預測未來值,允許依賴指令推測性執行,同時稍後驗證正確性”。

市場影響與競爭格局

Vera 的釋出標誌著輝達從 GPU 供應商向完整資料中心平台提供商的戰略轉變。通過提供可獨立於 GPU 銷售的 CPU,輝達直接進入了英特爾和 AMD 長期佔據主導地位的市場。已簽約的客戶包括阿里巴巴、字節跳動、Meta、甲骨文、CoreWeave、Lambda、Nebius 和 NScale,這表明輝達在雲服務商中的吸引力正在擴大。

分析人士認為,Vera 的獨特架構,特別是其神經分支預測器和記憶體重新命名技術,可能為 AI 代理等特定工作負載帶來效能優勢。然而,其實際效能能否在真實場景中超越成熟的 x86 競爭對手,仍有待觀察。此外,輝達對 Arm IP 的依賴也引發了關於其“完全定製”說法的一些爭議。

無論如何,Vera 的推出無疑加劇了資料中心 CPU 市場的競爭。對於投資者而言,這不僅是輝達產品線的擴充套件,更是 AI 基礎設施格局可能發生變化的訊號。隨著 AI 工作負載從單純的 GPU 密集型計算向更多樣化的混合模式發展,CPU 在 AI 系統中的作用將變得更加重要。