OpenAI 新旗艦模型 GPT-6 Astra 釋出前後,一場圍繞其底層架構的爭議迅速升溫。據 The Information 在模型上線前約兩天援引內部訊息報道,Astra 採用了一種名為迴圈深度(recurrent depth)、也稱迴圈 Transformer(looped transformer)的設計,而這種設計「會讓模型的部分乃至全部推理過程變得不可見」。訊息一齣,「迴圈深度」迅速成為 AI 安全討論的焦點詞。
面對外界質疑,OpenAI 首席科學家 Jakub Pachocki 出面澄清,表示他希望避免「一場由混亂的報道引發的、奔向不可監控性的競賽」,並強調包括 Astra 在內的當前前沿模型,其計算圖深度與 GPT-4 的差距仍在兩倍以內。
在大量語焉不詳的轉述中,技術博主、《Build a Large Language Model (From Scratch)》作者 Sebastian Raschka 發表長文,系統梳理了迴圈 Transformer 的技術脈絡,並對「該架構導致思維鏈被隱藏」的說法給出了否定回答。
Raschka 首先分享了他使用 Astra 的觀察。他認為這是自己用過的最好的模型,幾乎在寫作、數學、程式設計等所有類別上都超越了前代 GPT-5.6,但在 3D 渲染和動畫任務上的領先「不成比例」。基準測試也印證了這一點:Astra 在 ARC-AGI-3 上拿到 99.9%,而 GPT-5.6 Sol 僅為 7.8%。不過他也指出,在混合多項智慧體程式設計任務的 Artificial Analysis Coding Agent Index v1.4 上,Astra 雖處前沿,但並未大幅甩開對手;更綜合的 Intelligence Index 也呈現類似格局。他提醒,由於模型訓練通常圍繞某一主力框架展開,某些智慧體評測可能低估了 Astra 在自家框架下的實際表現。
另一個亮點是計算機操作能力。Raschka 演示了讓 Astra 通過滑鼠在瀏覽器版 MS Paint 中重畫照片,認為這體現了模型操作本地軟體的能力。這與近期報道相吻合:OpenAI 採購了數萬台 Mac Mini 和 Mac Studio 用於強化學習——這些 Mac 並非用於訓練模型本身,而是提供 macOS 環境,讓模型通過截圖、預測滑鼠鍵盤動作、執行、再獲取新截圖的迴圈來學習操作軟體,成功或失敗訊號則作為訓練反饋。他同時提到,輝達 CEO 稱 GPT-6 Astra 是在約 10 萬塊 Grace Blackwell GPU 上訓練的。
回到核心爭議,Raschka 從 2018 年的 Universal Transformer 講起,一路梳理到開放權重模型 Nanbeige4.2-3B、字節跳動的 Ouro 和谷歌的 Mixture-of-Recursions。他解釋,迴圈 Transformer 的核心思路是讓中間表示多次通過同一批 Transformer 塊,而非只過一次,且在這些遍歷過程中權重保持不變。以 Nanbeige4.2-3B 為例,同一組 22 個 Transformer 塊被應用兩次,展開後相當於 44 次塊應用,但第二輪複用的是第一輪的權重。
對於最受關注的問題,Raschka 給出否定回答。在他看來,迴圈 Transformer 並不是思維鏈變短、變得難以監控的原因。更合理的解釋是:能力更強的模型犯錯更少、回溯更少,因此不需要那麼長的草稿紙。他以 GPT-5.6 家族為例——Luna 比 Sol 多用 80% 的 token 才達到相近效能,但沒有人因此說 Sol 的可解釋性更差。他承認 Astra 系統卡確實提到推理軌跡的可監控性出現退步,但沒有證據表明可以把這筆賬記在迴圈架構頭上。
Raschka 還提醒,新一代 LLM 在理解提示詞、解決問題上已更高效,過度的手把手指導反而可能束縛模型,部分舊指令檔案或許已不再是最優解。文章最後介紹了幾項新研究。整體來看,這篇長文為圍繞 Astra 架構與 AI 安全的爭論提供了一個技術層面的冷靜視角。