AI 推理性能競賽出現新變量。本週，由英特爾支持的 AI 芯片公司 SambaNova 分享了其最新一代 AI 加速方案的基準測試結果，展示了一條不同於純 GPU 集群的技術路徑。

根據 AI 基準測試權威機構 Artificial Analysis 的獨立測試，SambaNova 的異構計算平臺在 MiniMax M2.7 模型上，於短上下文（1 萬輸入 token）場景下實現了每秒 763 個 token 的生成速度。這一成績數倍於僅依賴 GPU 的競品推理服務。即便在長上下文條件下，該平臺仍能維持超過 450 tok/s 的吞吐量。

實現這一性能的關鍵在於架構上的“分工”。該平臺將推理管線拆分為兩個階段：計算密集型的預填充階段由四塊 英偉達 H200 GPU 處理，負責處理提示詞並生成鍵值緩存；而對內存帶寬要求極高的解碼階段，則交由一個包含 16 個 SN50 加速器的 SambaNova 機架來完成。SN50 是 SambaNova 今年 2 月發佈的第五代可重構數據流單元（RDU）。

這種將預填充與解碼分離的異構設計，正成為降低長運行 AI 智能體（如代碼助手）單次 token 成本的重要手段。英偉達此前已通過 NVL72 機架系統展示了按比例調配 GPU 用於不同階段的思路，並在今年春季的 GTC 大會上進一步推出了基於其收購的 Groq 技術的 LPX 機架。此後，從 AMD、AWS 到 Cerebras，多家廠商均公佈了各自的分離式或異構推理平臺方案。

SambaNova 此次公佈的性能數據，意在向市場證明：客戶可以通過引入其 RDU 系統作為解碼加速器，讓現有的 GPU 集群煥發新生。值得注意的一個現實優勢是，SambaNova 的系統採用風冷散熱，可直接部署在現有數據中心內。這與英偉達最新一代 Rubin GPU 必須依賴液冷形成了對比，後者對基礎設施改造提出了更高要求。

SambaNova 還計劃展示更大規模的推理配置，包括 128 個乃至 256 個加速器的集群，以驗證其在高吞吐量下維持高 token 生成速率的能力。業界普遍認為，純 GPU 架構在這方面一直面臨挑戰，這也是驅動英偉達在去年年底收購 Groq 的關鍵因素之一。

就在一個月前，SambaNova 與英特爾共同宣佈，雲服務商 Vector Core Compute 將成為首批部署該 GPU 加 RDU 組合方案的合作伙伴，而 TogetherAI 是其首個大規模客戶。

支撐這一技術路線擴張的資金也已到位。本週三，SambaNova 完成了由 General Atlantic 領投的 10 億美元 F 輪融資的首輪交割，公司估值達到 110 億美元。這筆資金將為其第五代芯片的規模化生產提供保障。