輝達NVLink Fusion擴大生態影響力之際,一批網路廠商正試圖提供替代性的互聯與交換方案。在近日舉行的AI Infra Summit上,Cornelis NetworksDelos Data正式加入AI擴充套件網路(scale-up networking)的競爭。所謂擴充套件網路,是指讓多顆GPU像一顆巨型加速器一樣協同工作,輝達正是憑藉NVLink把8顆、72顆乃至576顆GPU聯結為單一計算域。為追趕這一能力,AMD等廠商已轉向Ultra Accelerator Link(UALink)等新興協議,但目前這些協議大多仍通過標準乙太網路交換機進行隧道傳輸。例如,AMD使用基於博通102.4 Tbps Tomahawk 6的交換機,連線MI455X上的定製I/O die。專用UALink交換機與物理互聯仍難覓蹤影,但Cornelis與Delos希望改變這一局面,它們從標準化、軟體最佳化與物理硬體幾個方向切入。

Cornelis Networks由英特爾於2020年分拆而來,其Omni-Path技術最初面向高效能運算(HPC)的擴充套件網路,曾用於Trinity、Lynx等超級計算機。該公司在AI Infra上釋出了Active Compute Fabric(ACF),目標是建立一個開放架構,將可程式設計計算能力整合到網路結構中,同時覆蓋擴充套件與橫向擴充套件場景。隨著其支援800 GbpsCN6000系列交換機與網絡卡即將推出,Cornelis不僅想通過開放的Ultra Ethernet協議觸達更廣泛客戶,也正式進軍擴充套件網路。ACF擴充套件了UALink與Ethernet for Scale-Up Networking等協議的目標,為多種硬體設定網路內計算能力的基線,而不僅限於Cornelis自家的CN系列部件。

輝達NVSwitch ASIC的關鍵能力之一是支援SHARP,可將網路內集合通訊解除安裝到交換機ASIC,從而釋放GPU算力、降低通訊開銷。集合通訊加速並非新事物,博通、思科等主要網路廠商都有不同程度的實現。作為開放架構,ACF看起來是在設定一個“最低共同標準”,讓部署系統的客戶清楚自己得到什麼。Cornelis還看到加速其他功能的機會,包括:用於跨會話儲存和檢索模型狀態的KV快取解除安裝;減少混合專家(MoE)模型在推理與訓練中重複傳輸和通訊開銷的MoE專家分發;面向HPC應用的訊息傳遞介面解除安裝;以及訓練等大型工作負載中的網路內檢查點以支援故障恢復。該公司解釋稱,通訊開銷與同步會讓昂貴的加速器利用率不足,而網路內加速器“允許網路在資料流經系統時對資料進行操作”。Cornelis援引其對公開資料的建模稱,在10萬顆GPU的系統中,約有一半GPU小時花在等待資料上,相當於每年浪費約16.8億美元的算力容量和500 GWh電力。這類廠商自述的數字需要謹慎看待,但減少GPU閒置時間確實意味著可觀的節省空間,而消除所有瓶頸遠比說起來困難。

與Cornelis主攻架構標準不同,Delos Data由前Barefoot Networks與英特爾高管創立,試圖從物理層切入,推出名為Nonstop AI的網路參考設計組合,覆蓋從共封裝互聯到傳統網絡卡的多種連線形態。其思路是為客戶提供系統級藍圖,加速端點間的資料移動,並支援超越單機架的更大計算域。Delos的資料介面有三種形態:第一種是I/O die,聚合頻寬超過30 Tbps,即雙向約8 TB/s,是輝達或AMD最新加速器互聯頻寬(上限3.6 TB/s)的兩倍多。其競爭力最終取決於部署時間,而這又高度依賴整合——這些I/O die需要直接整合到加速器封裝中,要求深度協同設計。關鍵在於,Delos不像輝達那樣把客戶鎖在封閉花園裡:NVLink Fusion目前仍要求客戶購買NVSwitch用於擴充套件網路,而Delos的chiplet是協議無關的,不關心客戶使用ESUN、UALink還是其他協議。希望把精力與資本集中在加速器AI部分的晶片設計者——這適用於大多數超大規模雲廠商——可以直接授權Delos的chiplet設計。這種協議無關性也延伸到Delos的近封裝光學(NPO)技術,它將整合超過10 Tbps的資料介面(按輝達的說法是2.5 TB/s雙向頻寬)與領先光學供應商的光引擎。像輝達NVL72這樣的機架級系統,此前因功耗限制主要依賴銅互聯;隨著系統從72 GPU機架向行級規模擴充套件,光學互聯的重要性正在上升。

整體來看,這場競爭的核心是AI算力擴充套件的“連線層”。輝達通過NVLink與NVSwitch把互聯變成生態護城河,而Cornelis與Delos分別從開放架構和協議無關的物理層晶片切入,試圖降低客戶被單一供應商鎖定的風險。對投資者而言,值得關注的是:開放互聯能否在效能與功耗上真正逼近NVLink,以及超大規模雲廠商是否願意為擺脫鎖定而承擔協同設計的成本。若開放方案獲得採用,交換機、光模組與加速器定製晶片的產業鏈格局可能隨之變化;若NVLink Fusion繼續鞏固生態,輝達在AI叢集中的系統級優勢仍將延續。