AI 推理性能竞赛出现新变量。本周，由英特尔支持的 AI 芯片公司 SambaNova 分享了其最新一代 AI 加速方案的基准测试结果，展示了一条不同于纯 GPU 集群的技术路径。

根据 AI 基准测试权威机构 Artificial Analysis 的独立测试，SambaNova 的异构计算平台在 MiniMax M2.7 模型上，于短上下文（1 万输入 token）场景下实现了每秒 763 个 token 的生成速度。这一成绩数倍于仅依赖 GPU 的竞品推理服务。即便在长上下文条件下，该平台仍能维持超过 450 tok/s 的吞吐量。

实现这一性能的关键在于架构上的“分工”。该平台将推理管线拆分为两个阶段：计算密集型的预填充阶段由四块 英伟达 H200 GPU 处理，负责处理提示词并生成键值缓存；而对内存带宽要求极高的解码阶段，则交由一个包含 16 个 SN50 加速器的 SambaNova 机架来完成。SN50 是 SambaNova 今年 2 月发布的第五代可重构数据流单元（RDU）。

这种将预填充与解码分离的异构设计，正成为降低长运行 AI 智能体（如代码助手）单次 token 成本的重要手段。英伟达此前已通过 NVL72 机架系统展示了按比例调配 GPU 用于不同阶段的思路，并在今年春季的 GTC 大会上进一步推出了基于其收购的 Groq 技术的 LPX 机架。此后，从 AMD、AWS 到 Cerebras，多家厂商均公布了各自的分离式或异构推理平台方案。

SambaNova 此次公布的性能数据，意在向市场证明：客户可以通过引入其 RDU 系统作为解码加速器，让现有的 GPU 集群焕发新生。值得注意的一个现实优势是，SambaNova 的系统采用风冷散热，可直接部署在现有数据中心内。这与英伟达最新一代 Rubin GPU 必须依赖液冷形成了对比，后者对基础设施改造提出了更高要求。

SambaNova 还计划展示更大规模的推理配置，包括 128 个乃至 256 个加速器的集群，以验证其在高吞吐量下维持高 token 生成速率的能力。业界普遍认为，纯 GPU 架构在这方面一直面临挑战，这也是驱动英伟达在去年年底收购 Groq 的关键因素之一。

就在一个月前，SambaNova 与英特尔共同宣布，云服务商 Vector Core Compute 将成为首批部署该 GPU 加 RDU 组合方案的合作伙伴，而 TogetherAI 是其首个大规模客户。

支撑这一技术路线扩张的资金也已到位。本周三，SambaNova 完成了由 General Atlantic 领投的 10 亿美元 F 轮融资的首轮交割，公司估值达到 110 亿美元。这笔资金将为其第五代芯片的规模化生产提供保障。