Google DeepMind 為其 Gemma 4 系列開源模型推出了全新的量化感知訓練（QAT）版本，旨在以更低的硬體門檻實現接近原始精度的模型效能。這批模型已在 Hugging Face 平台上線，涵蓋從端側到伺服器的五種引數規模：E2B（有效引數 23 億）、E4B（有效引數 45 億）、12B、26B A4B（混合專家模型）以及 31B。
此次釋出的 QAT 版本核心優勢在於，通過訓練階段即引入量化模擬，模型在推理時能以極低的精度損失換取顯著的記憶體佔用下降。官方指出，QAT 模型可保持與 bfloat16 格式相近的質量，同時大幅減少載入模型所需的記憶體。為適應不同部署場景，團隊提供了四種格式的檢查點：未量化 QAT 檢查點供下游定製編譯與研究使用；GGUF 格式用於廣泛的生態系統相容性；移動端最佳化格式（wNa8o8）專為手機硬體設計，採用定向 2 位元解碼層和最佳化的 KV 快取以最大化節省視訊記憶體；壓縮張量格式（w4a16）則面向 vLLM 的原生最佳化推理。
Gemma 4 系列本身是多模態模型，支援文本和影像輸入，其中 E2B、E4B 和 12B 型號還原生支援音訊處理。所有模型均提供預訓練和指令微調兩種變體，上下文視窗最高可達 256K token，並支援超過 140 種語言。架構上，該系列同時包含密集模型和混合專家（MoE）模型，其中 26B A4B 為 MoE 架構，總引數 252 億，啟用引數約 38 億。
從技術特性看，Gemma 4 引入了多項關鍵進步。模型採用混合注意力機制，在區域性滑動視窗注意力與全域性注意力之間交替，既保證了處理速度，又維持了對長上下文任務的深度理解能力。較小的 E2B 和 E4B 模型還採用了逐層嵌入（PLE）技術，在不增加層數或引數量的前提下提升引數效率。而 12B 統一模型則取消了獨立的編碼器，直接將原始影像塊和音訊波形投影到大語言模型的嵌入空間，降低了多模態延遲並簡化了微調流程。
此次量化版本的釋出，對 AI 產業的應用層和邊緣計算領域具有直接意義。更低的執行記憶體要求意味著開發者可以在高階手機、筆記型電腦乃至邊緣裝置上部署具備多模態理解和推理能力的模型，而不必依賴昂貴的雲端 GPU 資源。同時，多種部署格式的提供也降低了從研究到生產的工程摩擦，有望加速 AI 智慧體、端側助手等場景的落地。