OpenAI在Hot Chips大會上首次展示了其自研推理晶片“Jalapeño”的基準測試結果。據SemiAnalysis的測試,該晶片在每瓦吞吐量和令牌延遲方面均優於輝達的Blackwell和Rubin平台。SemiAnalysis CEO Dylan Patel表示:“通常第一代晶片不具備競爭力,但OpenAI正在超越輝達Blackwell甚至Rubin。”這一表態引發業內廣泛關注,因為自研晶片通常難以在首代就與行業巨頭抗衡。
Jalapeño是一款純推理晶片,僅用於執行AI模型,不參與訓練。值得注意的是,它並非針對OpenAI自家模型最佳化,而是通用的大語言模型推理加速器。OpenAI聲稱,在峰值吞吐下,Jalapeño在三個測試模型上的每瓦AI工作量比最佳商用系統提升1.5至1.9倍,端到端延遲降低1.7至3.6倍。對於互動式工作負載,效能提升達2.1至4.1倍。
測試基於SemiAnalysis的公開InferenceX基準,OpenAI提供資料,SemiAnalysis在實驗室現場驗證了部分執行。測試模型包括GPT-OSS 120B、Deepseek R1 670B和Kimi K2.5 1T。在GPT-OSS上,Jalapeño達到每使用者每秒約1400個令牌;在Deepseek R1上,單併發請求下每秒超過700個令牌。這些成績是在未使用多令牌預測或投機解碼等技術的情況下取得的,而部分對比系統依賴這些最佳化,因此Jalapeño仍有提升空間。
SemiAnalysis指出,更公平的對比物件應是輝達的Vera Rubin平台,因為兩者均使用HBM4記憶體。即便如此,Jalapeño在每兆瓦輸出令牌數上仍優於Vera Rubin,儘管後者採用了Jalapeño尚未使用的多令牌預測最佳化。在每令牌總擁有成本上,兩者大致持平。不過,也存在一些保留意見:輝達和AMD已釋出在更大模型(如Deepseek V4 Pro和Kimi K3)上的結果,這些模型尚未在Jalapeño上測試;Rubin系統已開始向客戶發貨,而Jalapeño據稱仍處於工程樣品階段。
OpenAI與博通合作開發Jalapeño,設計工作於2024年中期啟動,最終設計於2025年11月交付製造,整個週期約16個月,但OpenAI表示從首次晶片設計到完成藍圖僅用了9個月。開發過程中,OpenAI使用了自家的AI模型:較老代際的模型輔助晶片設計,較新的模型加速程式設計和最佳化。
SemiAnalysis認為,這表明輝達備受討論的“CUDA護城河”可能不再穩固。該公司寫道:“鑑於OpenAI能如此快速地在自家晶片上執行新模型,CUDA護城河可能已經失效。”OpenAI CFO Sarah Friar表示,該晶片契合更廣泛的計算戰略,資料中心、晶片、模型、開發者平台、產品和裝置將作為一個整合系統協同工作。她強調Jalapeño是對現有合作伙伴關係的補充而非替代,OpenAI與輝達、AMD、AWS、Cerebras、CoreWeave等公司保持合作,其中輝達是最大的投資者和計算夥伴之一。這些公司自身也在開發AI晶片,使得關係既合作又競爭。不過,所有公司都宣稱世界需要更多算力,這一說法恰好支援各自的商業模式。