OpenAI在Hot Chips大会上首次展示了其自研推理芯片“Jalapeño”的基准测试结果。据SemiAnalysis的测试,该芯片在每瓦吞吐量和令牌延迟方面均优于英伟达的Blackwell和Rubin平台。SemiAnalysis CEO Dylan Patel表示:“通常第一代芯片不具备竞争力,但OpenAI正在超越英伟达Blackwell甚至Rubin。”这一表态引发业内广泛关注,因为自研芯片通常难以在首代就与行业巨头抗衡。

Jalapeño是一款纯推理芯片,仅用于运行AI模型,不参与训练。值得注意的是,它并非针对OpenAI自家模型优化,而是通用的大语言模型推理加速器。OpenAI声称,在峰值吞吐下,Jalapeño在三个测试模型上的每瓦AI工作量比最佳商用系统提升1.5至1.9倍,端到端延迟降低1.7至3.6倍。对于交互式工作负载,性能提升达2.1至4.1倍。

测试基于SemiAnalysis的公开InferenceX基准,OpenAI提供数据,SemiAnalysis在实验室现场验证了部分运行。测试模型包括GPT-OSS 120B、Deepseek R1 670B和Kimi K2.5 1T。在GPT-OSS上,Jalapeño达到每用户每秒约1400个令牌;在Deepseek R1上,单并发请求下每秒超过700个令牌。这些成绩是在未使用多令牌预测或投机解码等技术的情况下取得的,而部分对比系统依赖这些优化,因此Jalapeño仍有提升空间。

SemiAnalysis指出,更公平的对比对象应是英伟达的Vera Rubin平台,因为两者均使用HBM4内存。即便如此,Jalapeño在每兆瓦输出令牌数上仍优于Vera Rubin,尽管后者采用了Jalapeño尚未使用的多令牌预测优化。在每令牌总拥有成本上,两者大致持平。不过,也存在一些保留意见:英伟达和AMD已发布在更大模型(如Deepseek V4 Pro和Kimi K3)上的结果,这些模型尚未在Jalapeño上测试;Rubin系统已开始向客户发货,而Jalapeño据称仍处于工程样品阶段。

OpenAI与博通合作开发Jalapeño,设计工作于2024年中期启动,最终设计于2025年11月交付制造,整个周期约16个月,但OpenAI表示从首次芯片设计到完成蓝图仅用了9个月。开发过程中,OpenAI使用了自家的AI模型:较老代际的模型辅助芯片设计,较新的模型加速编程和优化。

SemiAnalysis认为,这表明英伟达备受讨论的“CUDA护城河”可能不再稳固。该公司写道:“鉴于OpenAI能如此快速地在自家芯片上运行新模型,CUDA护城河可能已经失效。”OpenAI CFO Sarah Friar表示,该芯片契合更广泛的计算战略,数据中心、芯片、模型、开发者平台、产品和设备将作为一个集成系统协同工作。她强调Jalapeño是对现有合作伙伴关系的补充而非替代,OpenAI与英伟达、AMD、AWS、Cerebras、CoreWeave等公司保持合作,其中英伟达是最大的投资者和计算伙伴之一。这些公司自身也在开发AI芯片,使得关系既合作又竞争。不过,所有公司都宣称世界需要更多算力,这一说法恰好支持各自的商业模式。