谷歌DeepMind在Hugging Face上发布了DiffusionGemma,一个基于Gemma 4架构的开源多模态模型,采用Apache 2.0许可。该模型总参数25.2B、激活参数3.8B,属于稀疏混合专家(MoE)设计,共128个专家、每次激活8个外加1个共享专家。它最核心的改动是用离散扩散替代传统的逐token自回归生成,试图打破大模型解码阶段的串行瓶颈。
传统因果语言模型一次只生成一个token,速度受限于序列依赖。DiffusionGemma改用编码器-解码器结构:编码器以预填充方式处理提示词并生成KV缓存,解码器则对一块称为“画布”的token块施加双向注意力,通过并行去噪一次性生成整块内容。每块画布长256个token,去噪完成后由编码器处理并追加到KV缓存,再生成下一块。这种块自回归方式让单次前向传播可产出15–20个token,在H100(FP8)低并发场景下,每用户生成速度超过1100 token/秒。
模型支持文本、图像和视频输入,输出为文本。视觉编码器约5.5亿参数,图像可处理可变长宽比与分辨率,具备OCR、文档解析、图表理解、屏幕UI识别和视频帧序列分析能力。上下文窗口最高256K token,滑动窗口为1024 token,词表大小262K。它还内置可配置的“思考模式”,支持函数调用与智能体工作流,开箱支持35种以上语言,预训练覆盖140种以上语言。
基准测试呈现明显的取舍。在指令微调与推荐采样器设置下,DiffusionGemma的MMLU Pro得分为77.6%,低于Gemma 4 26B A4B的82.6%;AIME 2026无工具得分为69.1%,远低于后者的88.3%;LiveCodeBench v6为69.1%对77.1%;GPQA Diamond为73.2%对82.3%;Tau2平均为56.2%对68.2%;BigBench Extra Hard为47.6%对64.8%;MMMLU为81.5%对86.3%。视觉侧差距更明显:MMMU Pro为54.3%对73.8%,MATH-Vision为70.5%对82.4%,MedXPertQA MM为49.0%对58.1%。长上下文MRCR v2 8 needle 128k平均为32.0%对44.1%。文档解析OmniDocBench 1.5的平均编辑距离为0.319,高于对比模型的0.149(越低越好)。仅HLE无工具一项,DiffusionGemma以11.0%略高于Gemma 4的8.7%,但带搜索时为11.9%对17.2%。
从产业视角看,DiffusionGemma的意义不在全面超越现有模型,而在验证一条不同的推理加速路径。扩散解码把生成过程从“逐字串行”变成“整块并行”,理论上能显著压低延迟,尤其适合单卡、小批量、低延迟的本地部署场景。但代价是模型在复杂推理、代码竞赛和视觉细粒度任务上出现明显回退,说明并行去噪在需要长程逻辑连贯的任务上仍有局限。对AI基础设施而言,如果这类模型成熟,推理端的算力需求可能从“堆显存带宽”转向“优化采样步数与批处理效率”,进而影响GPU选型与云服务定价逻辑。对开发者来说,Apache 2.0许可和Transformers原生支持降低了试用门槛,但能否在真实业务中替代自回归模型,取决于任务对生成质量与速度的权衡。
目前DiffusionGemma已可通过最新版Transformers加载,模型卡同时提供了GitHub、启动博客和文档入口。谷歌DeepMind将其定位为“高速生成器”而非“全能旗舰”,后续迭代能否缩小与Gemma 4的质量差距,将决定扩散路线在开源生态中的实际渗透速度。