高通與亞馬遜於9月8日宣佈,雙方將合作為亞馬遜資料中心聯合開發多代AI加速器,並圍繞1.6T光網路技術展開合作,涉及高通晶片級SerDes與光數字訊號處理(DSP)技術。雙方聯合公告未披露太多細節,但一份提交給美國證券交易委員會的8-K檔案顯示,作為交易的一部分,亞馬遜獲得了一份可購買高通最多60億美元股票的權證。

這一合作是高通將其在移動晶片領域積累的低功耗、高熱約束下榨取效能的經驗,遷移到資料中心AI推理場景的最新嘗試。高通資料中心CPU與AI業務副總裁兼總經理Gerardo Giaretta此前在接受HPCwire採訪時表示,市場正從以訓練為主轉向以推理為主,推理如同一座「token工廠」,核心效率指標是每瓦token或每美元token。他認為,推理架構與訓練架構不同,需要將各組成部分解耦、執行在最高效的硬體上,這也是輝達收購Groq、AMD收購Taalas並與Cerebras合作背後的邏輯。

高通當前推進的重點是約一年前釋出的第一代AI200AI250加速器。AI200已開始送樣,AI250計劃明年送樣。兩者均為PCIe-6卡形態,配備768GB記憶體,單機架最多可容納56張卡,總記憶體最高達43TB,足以執行70億至100億引數級別的AI模型。這些卡通過乙太網路進行橫向擴充套件,功耗在140W至160W之間,採用直接液冷。兩者的核心差異在記憶體:AI200使用LPDDR5,AI250則採用高通的高頻寬計算(HBC)技術。

HBC採用一種新穎的記憶體堆疊方式,據高通稱可將記憶體頻寬提升16倍,單卡有效記憶體頻寬達133TB/秒,且仍基於LPDDR5記憶體。Giaretta用高速公路作比喻:資料流量增加時,加車道終有極限,而HBC的做法是把記憶體與計算封裝在一起,將計算單元置於記憶體堆疊之下,相當於不必再上高速通勤,直接在地下室辦公。這種垂直堆疊方式還釋放了處理器邊緣,用於更多I/O、SerDes和芯粒架構所需的裸片間(D2D)介面。Giaretta稱,相比傳統HBM方案,該架構在能效、效能和成本上都有顯著優勢。

下一代AI300將採用PCIe-7卡形態以及機架式伺服器,搭載高通HBC Gen 2技術,記憶體頻寬據稱可達AI200的54倍。高通表示,HBC Gen 2在機架層面相較基於SRAM的方案(如Cerebras和Groq)可提供200倍的每瓦容量,在卡層面相較HBM可提供最高6倍的每瓦頻寬。AI300將支援UALinkESUN進行縱向擴充套件,並通過銅纜和光連線橫向擴充套件,計劃2028年開始送樣。

同期釋出的還有Dragonfly C1000 CPU,定位資料中心CPU,面向智慧體、通用及AI頭節點工作負載,據高通稱具備領先的能效。該晶片將整合250個以上Oryon核心,執行頻率5GHz,採用芯粒架構,支援PCIe Gen 7CXL連線,並可選配HBC附加點以擴充套件記憶體。這款符合OCP ORv3規範的產品預計2028年商用。

從產業角度看,亞馬遜通過權證方式與高通繫結,延續了超大規模雲廠商以資本手段鎖定晶片供給、推動供應商多元化的做法。對高通而言,這是其從移動端向資料中心AI推理市場延伸的關鍵一步,能否在輝達主導的加速器市場中憑藉能效與成本優勢切出一塊份額,將取決於AI250及後續AI300的實際落地表現。