2026 年 11 月 7 日——独立开发者 summerMC(Hugging Face 账号 summerAIO)于 10 月 13 日至 14 日陆续上架 Diffusion 系列掩码扩散语言模型,把 Qwen3.5-4B、Qwen3.5-9B 与 Qwen3.8-27B 三个自回归模型改造成 LLaDA、Dream 式掩码生成模型,27B 版权重 12 个分片约 54GB,三个模型累计下载约 4400 次;11 月 6 日又补齐了 Triton 加速与块级缓存组件。
改造基座 Qwen3.8-27B 是 64 层稠密混合架构模型(hidden size 5120、上下文 262144 token、词表约 24.8 万),每 4 层中 3 层为 Gated DeltaNet 线性注意力、1 层为全注意力。这类混合骨干此前被视作自回归模型转扩散的障碍:线性注意力层在结构上是因果的,难以双向化。summerMC 的方案是两类层分开处理,改造后全程支持并行解码。
三处架构改动
模型卡写明的改造包括三点:
- 全注意力层:移除因果掩码,改为双向注意力;
- Gated DeltaNet 层:改为前向加反向的双向扫描,输出按 out = orig(h) + g ⊙ flip(orig(flip(h))) 融合,逐通道 rev_gate 初始化为 0;
- 掩码 token:复用 <|fim_pad|> 词元并配一个学习嵌入。
训练只做了 LoRA(r=32)短跑并合并进权重,损失为掩码 token 交叉熵按 1/t 加权,错位预测(位置 j 取自隐状态 j-1)保持原 lm_head 对齐。解码采用置信度阈值并行解掩码:生成从带掩码的画布开始,模型每轮并行预测全部缺失位置,只提交置信度高于阈值(示例取 0.9)的 token,首个 EOS 之后的内容丢弃。
模型清单与开放情况
| 模型 | 基座 | 上架日期 | 权重形式 |
|---|---|---|---|
| Diffusion-Qwen3.5-4B | Qwen/Qwen3.5-4B | 2026-10-13 | 合并权重+BART 融合 |
| Diffusion-Qwen3.5-9B | Qwen/Qwen3.5-9B | 2026-10-14 | 合并权重+BART 融合 |
| Diffusion-Qwen3.8-27B | Qwen/Qwen3.8-27B | 2026-10-13 | 合并权重,12 个分片约 54GB |
模型卡自署名 summerMC,Hugging Face 实际账号为 summerAIO。27B 版 bf16 部署约需 56GB 显存,累计下载约 1700 次、获 24 个赞(截至 11 月 7 日);训练步数与语料细节官方均未录得。许可证随各自基座执行。
11 月 6 日的更新为三个模型补齐三块工程组件:Triton 融合核(双向 DeltaNet 合为一次批扫描、CUDA Graph 整图捕获、免 fp32 logits 的词表选择)、每步仅一次 GPU 同步的快速解码循环,以及可选的块级 KV 与双向 DeltaNet 状态缓存(refresh 参数控制状态重录频率)。推理与训练代码以 dqwen 包随每个模型仓库分发,Triton 路径要求 Ampere 及更新架构 GPU。
模型卡标注「Experimental research checkpoint: not benchmarked, not for production use」,局限清单写明「no benchmark has been run; quality is expected to be below the base model」。
同路线的学术参照与局限
开源掩码扩散语言模型的先例是 LLaDA(2025 年 2 月,8B 从零训练)与 Dream 7B。AR 到扩散的转化在学术界同期也有两条对照路线:UT Austin 团队的 dQwen3.5(arXiv 2609.20751,9 月 17 日)在 Qwen3.5 混合骨干上训练了 0.8B 至 9B 四个档位,但其 Gated DeltaNet 层保持因果、仅注意力层双向化;Adobe Research 与佐治亚理工的 FLARE(arXiv 2606.01774)则走单检查点同时支持自回归与扩散双解码的路线。summerMC 版本的差异点是把 DeltaNet 层也做成了双向扫描。
官方列明的局限还包括:单条生成慢于原 AR 模型(无 KV 缓存且有额外反向扫描开销,吞吐收益来自批量与缓存);补丁对 transformers 的 Qwen 实现更新脆弱;扩散适配可能削弱基座的安全对齐。
评论