DiffusionGemma

产品定位

DiffusionGemma 是 Google DeepMind 打造的开源权重生成模型，也是谷歌首个开放权重的文本扩散（text diffusion）大模型。它基于 Gemma 4 的 26B A4B 混合专家（MoE）架构，但换掉了自回归逐 token 生成的解码方式，改用离散扩散来生成 token。模型卡标注 Apache 2.0 协议，权重在 Hugging Face 上以 google/diffusiongemma-26B-A4B-it 的形式提供，并配有官方文档与发布博客。

核心创新：多画布离散扩散

标准因果语言模型一次只能吐出一个 token，串行依赖正是延迟的根源。DiffusionGemma 改用"块自回归的多画布采样"：模型先处理一整块 token（官方称之为一块"画布"），用扩散采样器并行地反复去噪这块画布，画布去噪完成后整块落地，再进入下一块。这种方式把解码的顺序瓶颈摊平，从而提升生成速度（tokens per second）。官方文档还解释了它的编码器-解码器结构：编码器以 prefill 模式处理初始提示词并生成 KV 缓存，解码器则在生成画布上施加双向注意力，通过交叉注意力访问已缓存的上下文。

多模态输入

这是一款多模态模型：输入可以交错排列文本、图片与视频，输出为文本。图片输入支持可变长宽比与可变分辨率，视频输入同样进入同一条多模态通道。它不是纯文本模型，而是把理解能力扩展到了图像与视频素材上，适合需要"看图看视频再写文字"的场景。

稀疏 MoE 与本地可跑

架构上采用稀疏 MoE 设计，总计 128 个专家、每次只激活 8 个，在保持较强推理能力的同时压低内存占用，为本地执行留出空间。官方还强调该模型是针对小批量推理场景专门优化的，目标是让单张有能力的加速卡就能跑出低延迟、高吞吐的生成。此外模型提供可配置的"思考模式"（Thinking Mode）用于推理任务，并原生支持更新 system 角色，让系统提示词更结构化、更可控。

适用场景与获取方式

对想尝试扩散式文本生成的开发者，DiffusionGemma 提供了一个可以直接下载权重上手试的入口：可在本地或单卡环境部署做低延迟推理，可配合 Transformers 生态使用，也能作为研究扩散式 LLM 数据流与采样策略的样本。

模型卡信息速览

模型卡给出的元数据相当清晰：任务标签为 image-text-to-text（即图像/文本输入到文本输出），推荐使用 Transformers 库加载，权重协议为 Apache 2.0，官方同时标注了 Hugging Face 权重页、GitHub 上的 Gemma 代码仓库、发布博客与 Gemma 官方文档四个入口。研究扩散式 LLM 的团队可以直接从模型卡跳到代码与文档，不必再逆向整理资料。