OpenAI 在 2026 年 9 月的 Hot Chips 大會上正式揭曉了其自研的 AI 推理加速器 Jalapeño。這款定製 ASIC 晶片專為 AI 推理場景設計，尤其針對互動式與智慧體（agentic）系統背後對低延遲、多晶片協同工作負載的需求。OpenAI 強調，衡量晶片實用效能不能只看峰值浮點運算或記憶體頻寬，關鍵在於完整請求完成的速度與效率。為此，OpenAI 採用端到端延遲、token 間延遲以及每焦耳產出 token 數等指標，在完整的延遲-吞吐量權衡曲線上評估晶片表現。
Jalapeño 晶片在硬體規格上頗為亮眼：單晶片整合高達 13.4 petaflops 的 MXFP4 矩陣算力、216 GiB 的 HBM4 記憶體，以及 15.4 TB/s 的記憶體頻寬，整體封裝功耗控制在 700 瓦。由 2,048 顆晶片組成的完整系統可提供 27 exaflops 的 MXFP4 算力、432 TiB 記憶體與 32 PB/s 聚合頻寬。不過，OpenAI 指出，原始規格並不足以決定實際效能——儘管聚合 HBM 頻寬理論上允許每秒數千次全模型權重讀取，但由於資料搬運、同步、通訊以及遲到運算元等問題，實際 token 生成速率遠低於理論值。
為應對這些瓶頸，Jalapeño 採用了空間架構設計：每個核心切片與一個 HBM 切片配對，形成快速高頻寬的本地記憶體檢視；專門的集合通訊網路處理常見的跨核通訊模式，而更靈活的網路片上系統則承載通用流量。軟體層面，張量被顯式放置，計算在本地完成，僅在必要時使用共享路徑。分散式控制機制避免了獨立核心通過集中式資源同步時可能產生的昂貴全域性柵欄。這種組織方式反映了單個推理請求內部不同階段的需求差異：預填充（prefill）階段以注意力計算為主，高度依賴算力；推測解碼中的草稿模型規模小、批處理量極低，對網路延遲極為敏感；驗證與解碼階段則混合了注意力、記憶體頻寬密集的混合專家（MoE）執行以及突發性通訊。Jalapeño 並未將這些階段分配給不同的加速器並反覆搬運鍵值快取，而是保持狀態本地化，動態啟用不同的計算、記憶體與網路資源組合，未使用的模組可被斷電。OpenAI 的核心觀察是，封裝內“暗矽”的成本低於持續消耗 HBM、網路、冷卻與機架資源的空閒加速器。
在系統規模上，128 顆晶片構成一個本地域，最多 2,048 顆晶片通過兩級 Clos 網路互聯。網路頻寬被刻意設計為差異化：張量並行獲得更高頻寬，專家並行所需頻寬較低，所有流量都受益於低延遲。這使得互連成為計算機整體的一部分，而非獨立晶片的附屬品。在公開的 InferenceX 基準測試中，OpenAI 報告稱，Jalapeño 在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 模型上處於效能功耗比的帕累託前沿。與選定的 GB200 或 GB300 配置相比，Jalapeño 實現了每千瓦峰值吞吐量提升 1.5–1.9 倍，端到端延遲降低 1.7–3.6 倍，token 互動性提升 2.1–4.1 倍。在上一代系統的時間間隔點上，報告的效率優勢達到 8.6 至 104.3 倍。這些對比基於 8,000 token 輸入、1,000 token 輸出、四位權重、封裝 TDP 歸一化以及廠商最佳化軟體。值得注意的是，Jalapeño 使用單 token 預測，而部分基線採用多 token 預測，因此解讀結果時必須參考其披露的方法論。
OpenAI 表示，Jalapeño 從初始 RTL 到流片僅用時 9 個月，期間利用 AI 最佳化硬體模組，並生成了據稱超越專家編寫實現的程式碼核心。這體現了硬體-軟體-AI 協同設計的價值。從產業角度看，推理正成為 AI 的主要運營成本，而智慧體應用可能在完成單個使用者任務前反覆呼叫模型。每瓦每秒請求數的提升意味著更低的能耗、更大的資料中心容量以及更快的互動系統。更廣泛的戰略意義在於，模型開發商現在可以圍繞真實工作負載定製晶片，縮短演算法、編譯器、架構與部署之間的反饋迴圈，使前沿 AI 的推理服務更加經濟。這一動向也可能對輝達等現有晶片供應商構成長期競爭壓力，並推動 AI 算力供應鏈的多元化。