Google DeepMind 在 Hugging Face 上正式发布了 Gemma 4 系列模型的量化感知训练（QAT）优化版本，旨在为开发者提供更高效、更易部署的开源模型选项。这一新版本的核心突破在于：通过 QAT 技术，模型在保持与 bfloat16 精度相近性能的同时，大幅压缩了运行时所需的内存占用，让原本对硬件要求较高的前沿模型能够更流畅地运行在手机、笔记本电脑等资源受限的设备上。

此次发布覆盖了 Gemma 4 家族的全部五种规格，包括 E2B（有效参数 2.3B）、E4B（有效参数 4.5B）、12B、26B A4B（MoE 架构，激活参数 3.8B）以及 31B。针对不同应用场景，Google DeepMind 提供了四种格式的检查点文件：

- 未量化 QAT 检查点（Q4_0）：从 QAT 流程中提取的半精度权重，适合需要自定义下游编译或进行研究的用户。 - GGUF 格式（Q4_0）：即用型部署格式，兼容主流生态系统，方便快速集成。 - 移动端优化版（wNa8o8）：专为移动硬件效率设计的定制方案，采用针对性的 2-bit 解码层、优化的 KV 缓存和静态激活，以最大化节省显存，目前仅支持 E2B 和 E4B 两款小模型。 - 压缩张量版（w4a16）：以压缩张量格式序列化的 QAT 检查点，可在 vLLM 框架下实现原生优化推理。

从架构上看，Gemma 4 系列本身具备多项先进特性。所有模型均支持文本和图像输入，其中 E2B、E4B 和 12B 还原生支持音频处理。上下文窗口方面，小尺寸模型（E2B、E4B）支持 128K token，中大型模型（12B、26B A4B、31B）则支持 256K token，并维持对 140 多种语言的多语言支持。模型采用密集架构与混合专家（MoE）架构并行的设计，混合注意力机制将局部滑动窗口注意力与全局注意力交替使用，既保证了长上下文任务的处理速度，又维持了对复杂语义的深度理解能力。

特别值得关注的是小尺寸模型的参数效率设计。E2B 和 E4B 引入了逐层嵌入（Per-Layer Embeddings, PLE）技术，为每个解码层分配独立的小型嵌入表，使得有效参数远小于总参数量，从而在不增加层数或参数规模的前提下提升端侧部署效率。而 12B 模型则采用“统一”架构，取消了专用的多模态编码器，通过轻量级线性层将原始图像块和音频波形直接投影到大语言模型的嵌入空间，减少了多模态处理延迟，并支持一次性全模型微调。

Gemma 4 系列在功能层面也进行了强化。所有模型均被设计为具备可配置思考模式的强推理器，在编码基准测试中取得显著进步，并原生支持函数调用与系统角色提示，使其更适用于构建自主代理和结构化对话应用。这些能力结合此次 QAT 优化带来的部署灵活性，意味着开发者可以在从高端手机到工作站的各种设备上，以更低的硬件成本获得接近前沿水平的 AI 性能。

此次发布的许可证为 Apache 2.0，模型权重完全开放，作者团队为 Google DeepMind。对于 AI 产业而言，这一举措进一步降低了先进多模态模型在端侧和边缘场景的落地门槛，有望加速开源模型在移动应用、实时交互和离线推理等领域的渗透。