2026 年 11 月 7 日——独立开发者 summerMC(Hugging Face 账号 summerAIO)于 10 月 13 日至 14 日陆续上架 Diffusion 系列掩码扩散语言模型,把 Qwen3.5-4B、Qwen3.5-9B 与 Qwen3.8-27B 三个自回归模型改造成 LLaDA、Dream 式掩码生成模型,27B 版权重 12 个分片约 54GB,三个模型累计下载约 4400 次;11 月 6 日又补齐了 Triton 加速与块级缓存组件。

改造基座 Qwen3.8-27B 是 64 层稠密混合架构模型(hidden size 5120、上下文 262144 token、词表约 24.8 万),每 4 层中 3 层为 Gated DeltaNet 线性注意力、1 层为全注意力。这类混合骨干此前被视作自回归模型转扩散的障碍:线性注意力层在结构上是因果的,难以双向化。summerMC 的方案是两类层分开处理,改造后全程支持并行解码。

三处架构改动

模型卡写明的改造包括三点:

  • 全注意力层:移除因果掩码,改为双向注意力;
  • Gated DeltaNet 层:改为前向加反向的双向扫描,输出按 out = orig(h) + g ⊙ flip(orig(flip(h))) 融合,逐通道 rev_gate 初始化为 0;
  • 掩码 token:复用 <|fim_pad|> 词元并配一个学习嵌入。

训练只做了 LoRA(r=32)短跑并合并进权重,损失为掩码 token 交叉熵按 1/t 加权,错位预测(位置 j 取自隐状态 j-1)保持原 lm_head 对齐。解码采用置信度阈值并行解掩码:生成从带掩码的画布开始,模型每轮并行预测全部缺失位置,只提交置信度高于阈值(示例取 0.9)的 token,首个 EOS 之后的内容丢弃。

模型清单与开放情况

模型 基座 上架日期 权重形式
Diffusion-Qwen3.5-4B Qwen/Qwen3.5-4B 2026-10-13 合并权重+BART 融合
Diffusion-Qwen3.5-9B Qwen/Qwen3.5-9B 2026-10-14 合并权重+BART 融合
Diffusion-Qwen3.8-27B Qwen/Qwen3.8-27B 2026-10-13 合并权重,12 个分片约 54GB

模型卡自署名 summerMC,Hugging Face 实际账号为 summerAIO。27B 版 bf16 部署约需 56GB 显存,累计下载约 1700 次、获 24 个赞(截至 11 月 7 日);训练步数与语料细节官方均未录得。许可证随各自基座执行。

11 月 6 日的更新为三个模型补齐三块工程组件:Triton 融合核(双向 DeltaNet 合为一次批扫描、CUDA Graph 整图捕获、免 fp32 logits 的词表选择)、每步仅一次 GPU 同步的快速解码循环,以及可选的块级 KV 与双向 DeltaNet 状态缓存(refresh 参数控制状态重录频率)。推理与训练代码以 dqwen 包随每个模型仓库分发,Triton 路径要求 Ampere 及更新架构 GPU。

模型卡标注「Experimental research checkpoint: not benchmarked, not for production use」,局限清单写明「no benchmark has been run; quality is expected to be below the base model」。

同路线的学术参照与局限

开源掩码扩散语言模型的先例是 LLaDA(2025 年 2 月,8B 从零训练)与 Dream 7B。AR 到扩散的转化在学术界同期也有两条对照路线:UT Austin 团队的 dQwen3.5(arXiv 2609.20751,9 月 17 日)在 Qwen3.5 混合骨干上训练了 0.8B 至 9B 四个档位,但其 Gated DeltaNet 层保持因果、仅注意力层双向化;Adobe Research 与佐治亚理工的 FLARE(arXiv 2606.01774)则走单检查点同时支持自回归与扩散双解码的路线。summerMC 版本的差异点是把 DeltaNet 层也做成了双向扫描。

官方列明的局限还包括:单条生成慢于原 AR 模型(无 KV 缓存且有额外反向扫描开销,吞吐收益来自批量与缓存);补丁对 transformers 的 Qwen 实现更新脆弱;扩散适配可能削弱基座的安全对齐。