Google DeepMind 近日在 Hugging Face 平台正式发布了 Gemma 4 系列模型的量化感知训练（QAT）优化版本，为开发者提供了从移动端到服务器端的多样化部署选择。此次更新覆盖了 Gemma 4 家族的全部五个尺寸——E2B、E4B、12B、26B A4B 和 31B，并同步推出了四种不同格式的模型权重，以满足不同硬件环境下的推理需求。
根据官方模型卡说明，QAT 技术的核心优势在于能够在保持与 bfloat16 精度相近输出质量的前提下，显著压缩模型的内存占用。这意味着原本需要高端 GPU 才能运行的模型，现在可以在更广泛的设备上高效执行。此次发布的四种格式分别为：未量化 QAT 检查点（Q4_0），提供从 QAT 流程中提取的半精度权重，适合自定义下游编译和研究用途；GGUF 格式，面向广泛生态兼容性的即用型部署方案；移动端优化格式（wNa8o8），采用针对手机硬件效率定制的架构，包含 2 比特解码层、优化的 KV 缓存和静态激活，以最大化节省显存；以及压缩张量格式（w4a16），通过 vLLM 实现原生优化推理。
Gemma 4 系列本身是 Google DeepMind 构建的多模态开放模型家族，支持文本和图像输入，其中 E2B、E4B 和 12B 模型还原生支持音频处理。模型提供预训练和指令微调两种变体，上下文窗口最高可达 256K 个 token，并保持对 140 多种语言的多语言支持。在架构上，该系列同时包含密集模型和混合专家（MoE）模型，适用于文本生成、编程和推理等任务。
从参数规模看，E2B 的有效参数量为 23 亿，E4B 为 45 亿，两者均采用逐层嵌入技术以提升端侧部署的参数效率。12B 模型则采用无编码器的统一架构，将图像和音频原始数据直接投影到语言模型的嵌入空间，减少了多模态延迟。26B A4B 作为 MoE 模型，总参数量达 252 亿，但每次推理仅激活 38 亿参数，兼顾了性能与计算成本。31B 则是密集模型中的最大规格，面向需要更强算力的场景。
此次量化版本的推出，进一步强化了 Gemma 4 在端侧 AI 和边缘计算领域的适用性。较小的 E2B 和 E4B 模型专门针对笔记本电脑和移动设备的本地高效执行进行了优化，而 12B 及以上模型则瞄准消费级 GPU 和工作站。这种从手机到服务器的全覆盖策略，反映出 Google DeepMind 意图通过开放权重和灵活的部署选项，降低前沿 AI 模型的使用门槛，加速多模态应用在各类硬件上的渗透。
对于开发者而言，QAT 优化带来的直接好处是更低的推理成本和更快的响应速度，尤其是在资源受限的环境中。移动端优化格式的推出，可能推动更多具备实时音频、图像理解能力的 AI 应用出现在智能手机上。而压缩张量格式与 vLLM 的集成，则为数据中心规模的高效推理提供了现成方案。这些进展共同指向一个趋势：模型效率的提升正在让先进 AI 能力从云端向边缘扩散，为下游应用创新打开更大空间。