智譜AI創始人唐傑19日在X平台發文,系統闡述其對Scaling Law的最新理解,並以自家模型GLM-5.3作為“控制變數實驗”佐證判斷。這篇帖子直接回應了外界對智譜未訓練全新基座模型的質疑,也為當前AI行業如何分配訓練資源提供了新的思考角度。
唐傑在文中指出,引數量從來不是評估模型能力的唯一維度,資料規模、算力分配與推理部署條件同樣不可或缺。他介紹,GLM-5.3與上一代GLM-5.2共用相同基座、相同架構、相同的753B總引數與40B啟用引數,唯一差異在於增加了一個月的長時域環境訓練與強化學習(RL)後訓練——而由此帶來的能力提升“並非微小”。在AA評測指數中,GLM-5.3獲得60分,較GLM-5.2的53分提升7分。
這一實驗的核心結論是:當基座模型引數規模已足以承載足夠的知識,額外的能力提升往往來自“撥動其他旋鈕”——尤其是後訓練階段,而非繼續堆砌引數。唐傑認為,這一判斷對當前整個AI行業如何分配訓練資源具有直接參考價值。
唐傑在帖子中梳理了Scaling Law的演變脈絡。2020年,Kaplan等人得出結論,認為引數規模的增長應快於資料增長,比例約為2.7:1。這一結論推動了GPT-3、Gopher、MT-NLG等超大規模模型的集中湧現,萬億引數一度被視為行業進步的必經路徑。然而,2022年Hoffmann等人對400餘個模型重新實驗後發現,算力最優的分配應接近每引數20個Token,且隨著算力擴大,引數量與資料量應以大致相同的速度共同增長,而非持續拉大差距,這即是被廣泛引用的Chinchilla Scaling Law。唐傑直言,早期擬合誤差隨算力量級提升被不斷放大,導致當時規模最大的一批模型恰恰是算力分配最失衡的:“萬億引數這一輪,回頭來看,是整個領域一起走了一段彎路,然後又一起折返。”
唐傑進一步指出,Chinchilla最佳化的目標是“訓練一次、評測一次”的模型,而今天的主流模型每天可能被呼叫數十億次,推理成本在全生命週期中遠超一次性訓練成本。將推理成本納入目標函式後,最優解將向“更小模型、訓練更久”的方向移動。他援引Llama-2-7B與Gemma-2-9B為例,兩者每引數對應Token數分別約為290和889,均屬刻意“過訓練”的範疇。
混合專家架構(MoE)的普及進一步使問題複雜化。唐傑區分了兩個在MoE語境下必須分開討論的維度:總引數量決定模型能夠儲存多少知識、事實與長尾資訊;啟用引數與每次前向計算的有效深度,則決定模型的長程推理能力。他援引Roberts等人2025年的研究發現,最優的每引數Token數因任務而異——記憶類任務傾向於更多引數,推理類任務傾向於更多資料;而在固定每引數Token數的條件下,繼續增加總引數會降低推理能力,啟用更多專家則能穩定提升推理表現。唐傑據此指出,識別漏洞這類需要二十步因果鏈推理的任務,其核心能力並不存在於總引數量之中。
基於上述判斷,唐傑將GLM-5.3定位為一次有意為之的“控制變數實驗”。相較於GLM-5.2,GLM-5.3保持基座、架構、總引數與啟用引數完全不變,唯一的變數是增加了一個月的長時域環境Scaling與強化學習後訓練。他坦言,此次選擇後訓練這一“旋鈕”,是因為它當前擁有最大的改進空間,而非其他維度已無潛力可挖——“這並不意味著其他旋鈕已經轉到頭了。”他明確表示,基座模型規模、預訓練資料以及每次前向計算的算力投入,均仍在考量之列,下一步可能還會涉及中間訓練(mid-training)與預訓練層面的調整。
這一思路與外界此前對智譜“為何不訓新基座”的質疑形成直接回應。在唐傑的框架中,各旋鈕無需同步調節,關鍵在於判斷“下一個最值得撥動的是哪一個”。目前,GLM-5.3的Coding能力已被多位開發者評價為國產模型中的當前最優水平。