Google DeepMind 为其 Gemma 4 系列开源模型推出了全新的量化感知训练（QAT）版本，旨在以更低的硬件门槛实现接近原始精度的模型性能。这批模型已在 Hugging Face 平台上线，涵盖从端侧到服务器的五种参数规模：E2B（有效参数 23 亿）、E4B（有效参数 45 亿）、12B、26B A4B（混合专家模型）以及 31B。

此次发布的 QAT 版本核心优势在于，通过训练阶段即引入量化模拟，模型在推理时能以极低的精度损失换取显著的内存占用下降。官方指出，QAT 模型可保持与 bfloat16 格式相近的质量，同时大幅减少加载模型所需的内存。为适应不同部署场景，团队提供了四种格式的检查点：未量化 QAT 检查点供下游定制编译与研究使用；GGUF 格式用于广泛的生态系统兼容性；移动端优化格式（wNa8o8）专为手机硬件设计，采用定向 2 比特解码层和优化的 KV 缓存以最大化节省显存；压缩张量格式（w4a16）则面向 vLLM 的原生优化推理。

Gemma 4 系列本身是多模态模型，支持文本和图像输入，其中 E2B、E4B 和 12B 型号还原生支持音频处理。所有模型均提供预训练和指令微调两种变体，上下文窗口最高可达 256K token，并支持超过 140 种语言。架构上，该系列同时包含密集模型和混合专家（MoE）模型，其中 26B A4B 为 MoE 架构，总参数 252 亿，激活参数约 38 亿。

从技术特性看，Gemma 4 引入了多项关键进步。模型采用混合注意力机制，在局部滑动窗口注意力与全局注意力之间交替，既保证了处理速度，又维持了对长上下文任务的深度理解能力。较小的 E2B 和 E4B 模型还采用了逐层嵌入（PLE）技术，在不增加层数或参数量的前提下提升参数效率。而 12B 统一模型则取消了独立的编码器，直接将原始图像块和音频波形投影到大语言模型的嵌入空间，降低了多模态延迟并简化了微调流程。

此次量化版本的发布，对 AI 产业的应用层和边缘计算领域具有直接意义。更低的运行内存要求意味着开发者可以在高端手机、笔记本电脑乃至边缘设备上部署具备多模态理解和推理能力的模型，而不必依赖昂贵的云端 GPU 资源。同时，多种部署格式的提供也降低了从研究到生产的工程摩擦，有望加速 AI 智能体、端侧助手等场景的落地。