據 The Information 援引知情人士訊息,OpenAI 員工預計公司將在今年年底前釋出「一到兩款新模型」,但正在推進的「重大升級版旗艦模型」是否在列尚不確定。該旗艦模型仍需完成對齊工作,使其目標與研究人員和客戶的預期一致,同時公司還要加固圍繞該模型的測試基礎設施,之後才能繼續推進。
安全評估與政府審查是另一道門檻。在領導層對安全評估滿意之後,OpenAI 還需履行此前同意的安排:根據一項針對先進 AI 系統評估的行政令,公司要向美國政府提供新模型的訪問許可權,時間點早於向外部合作伙伴開放最多 30 天,早於公開發布的時間則更長。
迴圈 Transformer 是 Astra 與新一代旗艦的共同底座。據一位知情人士透露,新旗艦同樣採用迴圈 Transformer 技術,OpenAI 已在生產環境中執行這一方法,內部稱其為「Recurrent Depth」,也是其當前頂級模型 Astra 的核心機制。與把 token 一次性穿過 Transformer 層不同,該模型會讓 token 在同一批層中迴圈多次,再輸出下一個詞。這樣做能提升數學與程式設計任務的表現並壓低成本,因為較小的模型也能發揮超出其體量的能力。
代價是安全監控變難。迴圈會把模型的一部分「思考」從可讀文本轉移到人類審閱者無法檢查的內部數值表示中,從而削弱思維鏈監控——安全研究人員正是通過追蹤模型的推理過程來發現異常行為。The Information 報道稱,OpenAI 刻意限制了 Astra 的迴圈次數,以保持其思維鏈可讀。
安全投入的規模也被披露。據一位瞭解相關數字的人士稱,在 Hugging Face 事件之後,OpenAI 將約 10% 的總算力轉向對齊與安全。The Information 報道稱,這相當於數百兆瓦的資料中心容量,不過此前分配給安全的算力有多少、當前的具體比例如何,仍不清楚。按市場價計算,OpenAI 轉移的這部分算力若對外租用,每年成本將達數十億美元。AI 研究員 Noam Brown 在 9 月中旬的一檔播客中表示,他團隊中約 10% 的人也從事安全相關工作。
微軟的一次意外洩露,讓這套迴圈推理的運作方式浮出水面。作為 OpenAI 的主要投資方,微軟可以接觸其智慧財產權,卻在一篇關於 GPT-6.1 Sol 的技術文章中意外公開了細節。GPT-6.1 Sol 是 OpenAI 本月早些時候推出的 Astra 廉價替代方案。在一個已被刪除的段落中,微軟將 GPT-6.1 Sol 描述為採用「looping inference(迴圈推理)」,即模型在給出答案前,會對同一問題做多次「pass(遍歷)」。The Information 援引該頁面快取副本稱,GPT-6.1 Sol「使用與 GPT-6 Sol 相同的基礎模型權重,但推理遍歷為兩次而非三次」。一位直接知情人士確認,該文章內容與 OpenAI 私下告知微軟的資訊一致。微軟在意識到這部分內容本不應公開後將其撤下。
The Information 報道稱,迴圈 Transformer 在訓練與推理兩個環節,都是 OpenAI 模型開發中較為敏感的部分。OpenAI 首席科學家 Jakub Pachocki 此前已承認,思維鏈監控正變得「脆弱」,且「不幸地朝著負面方向發展」。他還警告業界不要一味競速,去追求沒有可讀推理過程的模型。
對關注 AI 產業的讀者而言,這條訊息牽動兩條線索:一是 OpenAI 的模型迭代節奏可能被對齊與安全評估拉長,進而影響其合作伙伴與下游應用的更新預期;二是「可讀推理」與「效能/成本」之間的取捨,正在成為前沿模型開發中一個公開化的結構性矛盾——迴圈架構能換來更強的數學與程式設計能力,卻讓外部審計與安全驗證變得更依賴內部機制而非文本痕跡。