OpenAI在8月25日完整公開了其首款AI加速晶片Jalapeño。該晶片提供最高13.4千萬億次的4位算力,可訪問232GB的先進記憶體,記憶體頻寬達到15.4TB/s。OpenAI引用的基準測試顯示,與公司目前依賴的輝達GB300相比,Jalapeño可將端到端延遲——即從輸入提示到生成最後一個token的時間——最多降低3.6倍,同時功耗更低。這些數字能否在Jalapeño大規模部署到OpenAI推理集群后轉化為實際收益,仍有待觀察。
效能只是故事的一半。另一半是設計過程:OpenAI的大語言模型在其中扮演了加速角色。Jalapeño從首個架構概念到首次流片用時不到20個月;從定義晶片邏輯的RTL程式碼到交付製造,僅隔9個月。這一節奏已相當快,但專家認為,隨著LLM能力提升並更深入整合到晶片設計工具中,未來可能顯得慢。
OpenAI硬體副總裁Richard Ho表示,模型正在賦予工程師超能力,工程師仍是工作的主導者和最終裁決者,但能更快行動、探索更多路徑。據Ho介紹,設計Jalapeño的團隊在專案期間平均不到100人,目前仍保持約100人規模,正推進第二代和第三代設計。這一人數涵蓋硬體團隊從系統設計到軟體和供應鏈的廣泛角色,但不包括合作方博通的人員。
OpenAI與博通的分工大致按設計與實現劃分:OpenAI團隊負責端到端系統設計,包括推理加速器、記憶體層級和網路;博通負責“從門級開始的物理設計”。這一合作也影響了一些外部評價。晶片設計初創公司Verkor.io聯合創始人David Chin認為,OpenAI給出的時間表相當可信,但博通的幫助對快速推進至關重要,若從零開始則不可能實現。同為公司聯合創始人的Ravi Krishna稱OpenAI的速度是相對令人印象深刻的結果,並認為若今天啟動專案,LLM能力的提升可能帶來更短週期。加州大學聖迭戈分校傑出教授Andrew Kahng也認為這一速度突出,可能是當前同類最佳。
Kahng回憶,2016年他參與共同組織的IEEE設計自動化未來研討會曾邀請當時在谷歌任職的Richard Ho做主題演講,Ho當時強調設計自動化,並將晶片設計所需時間視為團隊每天能完成迭代次數的函式。
馬里蘭大學半導體創新專案主任Ankur Srivastava指出,自動化在晶片設計領域已存在數十年,並非新問題。LLM與以往自動化工具的不同在於理解語言和程式碼的能力,這使其特別適合仍處於語言域的設計任務。OpenAI團隊據此構建了工作流:前端流程圍繞加速硬體綜合(XLS)展開,這是一套最初由谷歌開發的開源高階綜合工具鏈。高階綜合允許工程師用更熟悉的程式設計環境設計晶片,例如用受Rust啟發的領域特定語言DSLX和C++編寫,再由XLS轉換為硬體描述語言Verilog。OpenAI技術團隊成員Chris Leary表示,團隊思考如何利用AI加速專案,而AI更擅長看起來像軟體的東西,XLS在某種程度上就像軟體,因此受益。Leary在谷歌期間啟動了XLS,對其應有功能非常熟悉。Kahng也認同用AI加速XLS這類高階綜合是合理選擇,因為對LLM來說更自然,且能快速迭代,他認為這是一種普遍有用的工作流,未來有生命力。
同樣的邏輯讓Jalapeño團隊聚焦軟體最佳化。當首批晶片於5月從代工廠返回後,團隊讓內部AI模型設計軟體來執行SemiAnalysis的InferenceX等基準測試。在DeepSeek的多頭潛在注意力核心基準上,效能從理論峰值的0.31%提升到88.94%,耗時約40小時。Ho表示這一結果可重複,因此從代工廠交付首批晶片到量產爬坡之間的時間可以縮短,所有進度假設都將基於現在擁有這一能力。
Jalapeño設計用於包含2048顆晶片的叢集部署。OpenAI團隊AI輔助工作流的整體輪廓由Ho和Leary等人勾勒,但更廣泛的影響在於:LLM正從輔助工具變為晶片設計流程中的加速器,這可能壓縮從概念到量產的週期,並改變晶片設計團隊的人員構成與工具鏈競爭。對AI產業而言,若自研晶片能降低推理成本並減少對單一供應商的依賴,將牽動算力供應鏈的議價結構與資本開支方向。