Google DeepMind 在 Hugging Face 上正式發佈了 Gemma 4 系列模型的量化感知訓練（QAT）優化版本，旨在為開發者提供更高效、更易部署的開源模型選項。這一新版本的核心突破在於：通過 QAT 技術，模型在保持與 bfloat16 精度相近性能的同時，大幅壓縮了運行時所需的內存佔用，讓原本對硬件要求較高的前沿模型能夠更流暢地運行在手機、筆記本電腦等資源受限的設備上。

此次發佈覆蓋了 Gemma 4 家族的全部五種規格，包括 E2B（有效參數 2.3B）、E4B（有效參數 4.5B）、12B、26B A4B（MoE 架構，激活參數 3.8B）以及 31B。針對不同應用場景，Google DeepMind 提供了四種格式的檢查點文件：

- 未量化 QAT 檢查點（Q4_0）：從 QAT 流程中提取的半精度權重，適合需要自定義下游編譯或進行研究的用戶。 - GGUF 格式（Q4_0）：即用型部署格式，兼容主流生態系統，方便快速集成。 - 移動端優化版（wNa8o8）：專為移動硬件效率設計的定製方案，採用針對性的 2-bit 解碼層、優化的 KV 緩存和靜態激活，以最大化節省顯存，目前僅支持 E2B 和 E4B 兩款小模型。 - 壓縮張量版（w4a16）：以壓縮張量格式序列化的 QAT 檢查點，可在 vLLM 框架下實現原生優化推理。

從架構上看，Gemma 4 系列本身具備多項先進特性。所有模型均支持文本和圖像輸入，其中 E2B、E4B 和 12B 還原生支持音頻處理。上下文窗口方面，小尺寸模型（E2B、E4B）支持 128K token，中大型模型（12B、26B A4B、31B）則支持 256K token，並維持對 140 多種語言的多語言支持。模型採用密集架構與混合專家（MoE）架構並行的設計，混合注意力機制將局部滑動窗口注意力與全局注意力交替使用，既保證了長上下文任務的處理速度，又維持了對複雜語義的深度理解能力。

特別值得關注的是小尺寸模型的參數效率設計。E2B 和 E4B 引入了逐層嵌入（Per-Layer Embeddings, PLE）技術，為每個解碼層分配獨立的小型嵌入表，使得有效參數遠小於總參數量，從而在不增加層數或參數規模的前提下提升端側部署效率。而 12B 模型則採用“統一”架構，取消了專用的多模態編碼器，通過輕量級線性層將原始圖像塊和音頻波形直接投影到大語言模型的嵌入空間，減少了多模態處理延遲，並支持一次性全模型微調。

Gemma 4 系列在功能層面也進行了強化。所有模型均被設計為具備可配置思考模式的強推理器，在編碼基準測試中取得顯著進步，並原生支持函數調用與系統角色提示，使其更適用於構建自主代理和結構化對話應用。這些能力結合此次 QAT 優化帶來的部署靈活性，意味著開發者可以在從高端手機到工作站的各種設備上，以更低的硬件成本獲得接近前沿水平的 AI 性能。

此次發佈的許可證為 Apache 2.0，模型權重完全開放，作者團隊為 Google DeepMind。對於 AI 產業而言，這一舉措進一步降低了先進多模態模型在端側和邊緣場景的落地門檻，有望加速開源模型在移動應用、實時交互和離線推理等領域的滲透。