智譜 GLM 首席科學家唐傑在 X 平台分享了一項關於 GLM-5.3-Flash 推理系統最佳化的研究。他透露，該模型從首次執行在國產 AI 加速器上，到完成全部生產流量承載，僅用了兩週時間，系統端到端吞吐能力提升 3.2 倍。

此次部署執行在超過 10 萬顆國產 AI 加速器組成的叢集上。智譜團隊表示，這是一次此前缺少成熟經驗參考的大規模部署，需要同時解決國產晶片視訊記憶體容量與互聯頻寬限制、新模型架構適配、100 萬 token 長上下文支援以及多模態請求處理等問題。與此同時，國產 AI 加速器的軟體生態仍處於發展階段，部分 Kernel 支援不足，很多資料需要工程團隊自行探索。

唐傑稱，在這些限制條件下，由 GLM-5.3 驅動的 Infra Agent 參與了推理系統最佳化，幫助分析效能瓶頸、提出最佳化方案並完成部分程式碼修改。整個最佳化過程並非簡單增加算力，而是在算力、記憶體、通訊和排程之間尋找新平衡。團隊採用的具體方案包括：通過 ReplaySSM 用計算換取記憶體空間，通過節點內張量並行降低視訊記憶體壓力，通過 INT8、FP8、BF16 混合精度快取提高容量利用率，並引入 Encode-Prefill-Decode（EPD）分離式架構讓不同推理階段更靈活地排程。最終，GLM-5.3-Flash 的端到端服務效能相比初始版本提升約 3 倍，硬體利用率和單 token 成本達到接近主流 NVIDIA GPU 平台的水平。

部署完成後，該模型還進入真實使用環境測試。智譜團隊介紹，GLM-5.3-Flash 曾以匿名模型名 Ox-Alpha 執行在 OpenCode 和 OpenRouter 平台，一週內成為兩個平台使用量最高的模型之一，六天處理超過 62 萬億 token。

這次實驗更受關注的變化，不只是讓 AI 寫程式碼，而是讓 AI 能夠理解複雜系統為什麼出現效能變化。唐傑提到，Infra Agent 遇到困難時，很少是因為無法編寫程式碼，而是無法判斷「為什麼結果變差」。例如當系統反饋「吞吐下降 20%」時，它只能說明某個地方出現異常，卻無法直接告訴 Agent 哪一層出了問題、當前假設是否錯誤、下一步該驗證什麼。對於資深工程師來說，這類判斷依賴長期經驗——知道什麼時候檢視執行時間線、什麼時候執行微基準測試、應該比較哪個模組的輸出。

智譜團隊希望把這種工程經驗轉化為 AI 可以呼叫的反饋機制，並將其稱為 dense feedback。這套機制的核心，是讓 Agent 獲得更接近工程判斷過程的資訊：當模型需要確認計算是否正確時，可以獲得對應的正確性反饋；當需要分析效能下降原因時，可以檢視系統執行過程中的時間消耗；當嘗試新的最佳化方案時，可以通過實驗判斷該方案是否適用於當前場景。團隊認為，真正有效的反饋必須足夠接近具體問題、能夠快速獲得，同時能夠通過客觀實驗驗證，否則大量日誌和指標反而可能讓 Agent 難以判斷下一步行動方向。

在 dense feedback 的幫助下，Infra Agent 開始參與定位推理系統中的隱藏問題。在 KDA 的上下文並行路徑中，Agent 發現了一個影響長上下文計算精度的問題：由於不同上下文分片之間需要不斷合併狀態矩陣，TF32 計算產生的舍入誤差會隨序列長度增加不斷累積，最終導致計算結果偏差。Agent 通過比較不同執行路徑的結果，將問題定位到狀態傳播和合並過程中的精度處理，相關修復已合併到 Flash Linear Attention 專案 PR #1180。

另一個問題出現在 KV Transfer 與 DeepEP 排程之間。測試過程中，Agent 發現 KV Transfer 沒有與 DeepEP Dispatch 形成有效重疊，導致部分場景下傳輸開銷超過 30%。隨後 Agent 沿著 Python 與 C++ 呼叫鏈繼續分析，發現節點內路徑沒有及時釋放 Python GIL，使傳輸任務無法及時推進。完成修改後，KV Transfer 帶來的額外開銷從超過 30% 降低到 1% 以下。此外，Agent 還優化了一個 Decode Kernel，發現由於 Kernel 切分方式的問題，同一組歸一化計算被重複執行四次；通過重新組織計算結構、減少重複計算，該 Kernel 最終獲得 1.71 倍效能提升。這一最佳化思路來自 Agent 對 SGLang、Flash Linear Attention 和 DeepGEMM 等專案現有 Kernel 的學習，它將這些程式碼中的最佳化經驗提煉成「optimization skeleton」，再結合當前系統反饋判斷是否適用。

過去，類似最佳化經驗主要依賴工程師個人積累。而在這一過程中，Agent 開始能夠從已有程式碼中學習最佳化方法，再通過實驗驗證這些方法是否適合新的硬體和模型環境。唐傑表示，人類工程師仍然負責設定目標、搭建反饋環境以及稽核高風險修改，但工程師的角色正在變化，從直接解決每一個問題的人，逐漸轉向設計反饋系統的人。

智譜團隊認為，建立在真實基礎設施任務上的可驗證反饋環境，可能也是訓練下一代模型的重要基礎——每一次 Agent 完成工程任務，都可能成為下一代模型學習的資料。目前，GLM-5.3-Flash 的案例距離真正意義上的遞迴自我改進（Recursive Self-Improvement，RSI）仍然存在距離，但唐傑認為，一個最小規模的迴圈已經出現：模型最佳化系統，而系統服務模型。