語言模型的能力差異一直是AI產業關注的焦點。為何參數量更大的模型往往能掌握小模型無法學會的技能？一項由研究團隊開展的新實驗，通過對比參數量從400萬到40億不等的模型，揭示了背後的關鍵機制：災難性遺忘的強度與任務出現頻率直接相關。

在訓練過程中，模型會不斷接觸各類任務數據。研究發現，當某個任務在訓練數據中出現的頻率較低時，後續湧入的高頻任務數據會像潮水一樣，持續覆蓋和沖刷掉模型此前對稀有任務的學習成果。小模型由於參數容量有限，這種覆蓋效應尤為明顯，導致它們最終在稀有任務上表現失敗。而大模型憑藉更大的參數空間，能夠在一定程度上隔離和保留這些低頻知識，從而展現出更全面的能力。

這項研究的意義在於，它提供了一個無需盲目擴大模型規模的替代方案。研究人員指出，如果能在數據準備階段，刻意提高目標稀有任務在訓練數據中的重複頻率，即便參數量較小的模型，也能有效掌握這些技能。這意味著，在特定應用場景下，通過優化數據配比和訓練策略，企業或許可以用更小的模型、更低的算力成本，達到接近大模型的效果。

從AI產業的角度看，這一發現對基礎設施層和模型層均有潛在影響。當前，業界普遍通過堆疊參數和算力來追求模型能力的全面性，這直接推高了芯片採購、數據中心能耗和訓練成本。如果數據層面的策略優化能夠部分替代規模擴張，那麼對於算力需求的增速、以及相關硬件投資的回報預期，都可能產生重新評估的空間。這為那些資源有限、但專注於特定垂直領域的AI應用開發者，提供了一條更具成本效率的技術路徑。