OpenAI在8月25日完整公开了其首款AI加速芯片Jalapeño。该芯片提供最高13.4千万亿次的4位算力,可访问232GB的先进内存,内存带宽达到15.4TB/s。OpenAI引用的基准测试显示,与公司目前依赖的英伟达GB300相比,Jalapeño可将端到端延迟——即从输入提示到生成最后一个token的时间——最多降低3.6倍,同时功耗更低。这些数字能否在Jalapeño大规模部署到OpenAI推理集群后转化为实际收益,仍有待观察。
性能只是故事的一半。另一半是设计过程:OpenAI的大语言模型在其中扮演了加速角色。Jalapeño从首个架构概念到首次流片用时不到20个月;从定义芯片逻辑的RTL代码到交付制造,仅隔9个月。这一节奏已相当快,但专家认为,随着LLM能力提升并更深入集成到芯片设计工具中,未来可能显得慢。
OpenAI硬件副总裁Richard Ho表示,模型正在赋予工程师超能力,工程师仍是工作的主导者和最终裁决者,但能更快行动、探索更多路径。据Ho介绍,设计Jalapeño的团队在项目期间平均不到100人,目前仍保持约100人规模,正推进第二代和第三代设计。这一人数涵盖硬件团队从系统设计到软件和供应链的广泛角色,但不包括合作方博通的人员。
OpenAI与博通的分工大致按设计与实现划分:OpenAI团队负责端到端系统设计,包括推理加速器、内存层级和网络;博通负责“从门级开始的物理设计”。这一合作也影响了一些外部评价。芯片设计初创公司Verkor.io联合创始人David Chin认为,OpenAI给出的时间表相当可信,但博通的帮助对快速推进至关重要,若从零开始则不可能实现。同为公司联合创始人的Ravi Krishna称OpenAI的速度是相对令人印象深刻的结果,并认为若今天启动项目,LLM能力的提升可能带来更短周期。加州大学圣迭戈分校杰出教授Andrew Kahng也认为这一速度突出,可能是当前同类最佳。
Kahng回忆,2016年他参与共同组织的IEEE设计自动化未来研讨会曾邀请当时在谷歌任职的Richard Ho做主题演讲,Ho当时强调设计自动化,并将芯片设计所需时间视为团队每天能完成迭代次数的函数。
马里兰大学半导体创新项目主任Ankur Srivastava指出,自动化在芯片设计领域已存在数十年,并非新问题。LLM与以往自动化工具的不同在于理解语言和代码的能力,这使其特别适合仍处于语言域的设计任务。OpenAI团队据此构建了工作流:前端流程围绕加速硬件综合(XLS)展开,这是一套最初由谷歌开发的开源高级综合工具链。高级综合允许工程师用更熟悉的编程环境设计芯片,例如用受Rust启发的领域特定语言DSLX和C++编写,再由XLS转换为硬件描述语言Verilog。OpenAI技术团队成员Chris Leary表示,团队思考如何利用AI加速项目,而AI更擅长看起来像软件的东西,XLS在某种程度上就像软件,因此受益。Leary在谷歌期间启动了XLS,对其应有功能非常熟悉。Kahng也认同用AI加速XLS这类高级综合是合理选择,因为对LLM来说更自然,且能快速迭代,他认为这是一种普遍有用的工作流,未来有生命力。
同样的逻辑让Jalapeño团队聚焦软件优化。当首批芯片于5月从代工厂返回后,团队让内部AI模型设计软件来运行SemiAnalysis的InferenceX等基准测试。在DeepSeek的多头潜在注意力内核基准上,性能从理论峰值的0.31%提升到88.94%,耗时约40小时。Ho表示这一结果可重复,因此从代工厂交付首批芯片到量产爬坡之间的时间可以缩短,所有进度假设都将基于现在拥有这一能力。
Jalapeño设计用于包含2048颗芯片的集群部署。OpenAI团队AI辅助工作流的整体轮廓由Ho和Leary等人勾勒,但更广泛的影响在于:LLM正从辅助工具变为芯片设计流程中的加速器,这可能压缩从概念到量产的周期,并改变芯片设计团队的人员构成与工具链竞争。对AI产业而言,若自研芯片能降低推理成本并减少对单一供应商的依赖,将牵动算力供应链的议价结构与资本开支方向。