OpenAI 在 2026 年 9 月的 Hot Chips 大会上正式揭晓了其自研的 AI 推理加速器 Jalapeño。这款定制 ASIC 芯片专为 AI 推理场景设计，尤其针对交互式与智能体（agentic）系统背后对低延迟、多芯片协同工作负载的需求。OpenAI 强调，衡量芯片实用性能不能只看峰值浮点运算或内存带宽，关键在于完整请求完成的速度与效率。为此，OpenAI 采用端到端延迟、token 间延迟以及每焦耳产出 token 数等指标，在完整的延迟-吞吐量权衡曲线上评估芯片表现。
Jalapeño 芯片在硬件规格上颇为亮眼：单芯片集成高达 13.4 petaflops 的 MXFP4 矩阵算力、216 GiB 的 HBM4 内存，以及 15.4 TB/s 的内存带宽，整体封装功耗控制在 700 瓦。由 2,048 颗芯片组成的完整系统可提供 27 exaflops 的 MXFP4 算力、432 TiB 内存与 32 PB/s 聚合带宽。不过，OpenAI 指出，原始规格并不足以决定实际性能——尽管聚合 HBM 带宽理论上允许每秒数千次全模型权重读取，但由于数据搬运、同步、通信以及迟到操作数等问题，实际 token 生成速率远低于理论值。
为应对这些瓶颈，Jalapeño 采用了空间架构设计：每个核心切片与一个 HBM 切片配对，形成快速高带宽的本地内存视图；专门的集合通信网络处理常见的跨核通信模式，而更灵活的网络片上系统则承载通用流量。软件层面，张量被显式放置，计算在本地完成，仅在必要时使用共享路径。分布式控制机制避免了独立核心通过集中式资源同步时可能产生的昂贵全局栅栏。这种组织方式反映了单个推理请求内部不同阶段的需求差异：预填充（prefill）阶段以注意力计算为主，高度依赖算力；推测解码中的草稿模型规模小、批处理量极低，对网络延迟极为敏感；验证与解码阶段则混合了注意力、内存带宽密集的混合专家（MoE）执行以及突发性通信。Jalapeño 并未将这些阶段分配给不同的加速器并反复搬运键值缓存，而是保持状态本地化，动态激活不同的计算、内存与网络资源组合，未使用的模块可被断电。OpenAI 的核心观察是，封装内“暗硅”的成本低于持续消耗 HBM、网络、冷却与机架资源的空闲加速器。
在系统规模上，128 颗芯片构成一个本地域，最多 2,048 颗芯片通过两级 Clos 网络互联。网络带宽被刻意设计为差异化：张量并行获得更高带宽，专家并行所需带宽较低，所有流量都受益于低延迟。这使得互连成为计算机整体的一部分，而非独立芯片的附属品。在公开的 InferenceX 基准测试中，OpenAI 报告称，Jalapeño 在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 模型上处于性能功耗比的帕累托前沿。与选定的 GB200 或 GB300 配置相比，Jalapeño 实现了每千瓦峰值吞吐量提升 1.5–1.9 倍，端到端延迟降低 1.7–3.6 倍，token 交互性提升 2.1–4.1 倍。在上一代系统的时间间隔点上，报告的效率优势达到 8.6 至 104.3 倍。这些对比基于 8,000 token 输入、1,000 token 输出、四位权重、封装 TDP 归一化以及厂商优化软件。值得注意的是，Jalapeño 使用单 token 预测，而部分基线采用多 token 预测，因此解读结果时必须参考其披露的方法论。
OpenAI 表示，Jalapeño 从初始 RTL 到流片仅用时 9 个月，期间利用 AI 优化硬件模块，并生成了据称超越专家编写实现的代码内核。这体现了硬件-软件-AI 协同设计的价值。从产业角度看，推理正成为 AI 的主要运营成本，而智能体应用可能在完成单个用户任务前反复调用模型。每瓦每秒请求数的提升意味着更低的能耗、更大的数据中心容量以及更快的交互系统。更广泛的战略意义在于，模型开发商现在可以围绕真实工作负载定制芯片，缩短算法、编译器、架构与部署之间的反馈循环，使前沿 AI 的推理服务更加经济。这一动向也可能对英伟达等现有芯片供应商构成长期竞争压力，并推动 AI 算力供应链的多元化。