2026 年 10 月 28 日——扩散智能 DiffuSpace 于 10 月 28 日发布并开源扩散语言模型 Clover-35B-A3B-Preview,采用 MoE 架构、总参数 350 亿、激活参数约 30 亿,支持 128K 上下文;官方公布其在智能体编程等六项 Agent 评测中取得所列模型最高分,并在单张 NVIDIA GB300 上实测整体生成速度 680 tokens/s。

发布概况与团队背景

Clover(中文名「三叶」)是 DiffuSpace 发布的首个模型。据官方博客介绍,公司团队源自香港大学自然语言处理实验室(HKU NLP)2025 年 4 月推出的扩散语言模型 Dream 7B,Dream 系列在 HuggingFace 累计下载量超过 270 万次。

模型权重与代码以 Apache 2.0 许可发布于 HuggingFace、GitHub 与 ModelScope,权重共 69.3GB(safetensors);在线体验需在官网申请。截至 10 月 28 日实测,GitHub 仓库获 61 个星标。模型支持思考模式,官方推理后端为 SGLang 与 llama.cpp,另有 HuggingFace Transformers 原生实现(需 transformers 5.19.0 与 PyTorch 2.10 以上)。

架构与生成方式

Clover 由同尺寸自回归模型 Qwen3.6-35B-A3B 改造而来,保留其 GDN 与全注意力混合的 MoE 骨干:40 层、256 个路由专家、top-8 路由加每层 1 个共享专家。在此之上,官方围绕块扩散(Block Diffusion)重构了门控 Delta 网络(GDN):已生成上下文经递归状态压缩,当前块内 token 通过双向 Softmax 注意力交互,并引入可学习块大小校准与零初始化的右侧卷积分支。

文本的并行生成与实时修正通过 LowConfidence 解码实现:每个块以掩码 token 起步,置信度超过阈值(默认 0.95)的位置被并行填充,若无位置达标则填充置信度最高的位置以保证推进,已解出的块并入前缀后继续下一块,默认块大小为 32。官方还提供自投机解码(self-speculative decoding)实现。

部署方面,BF16 权重约 69GB;官方称已完成 INT4 量化部署,在 16GB 显存的 NVIDIA RTX 5070 Ti 上运行 MATH-500 生成速度达 101.8 tokens/s,其对照的同规模模型测试结果为 48.5 tokens/s。

官方评测与速度数据

项目 数据
总参数 / 激活参数 350 亿 / 约 30 亿(MoE)
上下文长度 128K(131072 tokens,含输入与输出)
基座模型 Qwen3.6-35B-A3B(改造)
SWE-bench Verified 73.6
Terminal-Bench 2.1 51.7
τ³ Overall 65.3
GPQA Diamond 83.8
ZebraLogic 95.8
AA-LCR 72.0
MMLU-Pro 84.8
BFCL-v4 67.9
生成速度(单卡 GB300) 680 tokens/s(BF16、batch size=1、内部 Agent 场景数据)
生成速度(单卡 H200) Agent 任务 515 tokens/s,对照 DFlash2 加速 Qwen 为 365 tokens/s
端侧速度(RTX 5070 Ti,INT4) MATH-500 上 101.8 tokens/s,对照 48.5 tokens/s
权重体积 69.3GB(safetensors),Apache 2.0

官方称,在本次对比的六项 Agent 评测中 Clover 均取得所列模型最高分,对比对象包括同为扩散语言模型的 LLaDA2.2 flash 与 Mercury 2.5,以及同尺寸自回归模型 Qwen3.6-35B-A3B、Qwen3.5-35B-A3B;生成速度最高达同尺寸自回归模型的 5-10 倍。演示数据方面,官方披露 WebMCP 任务集中 Agent 执行耗时中位数为 1.52 秒,对照 Gemini3.6 Flash 为 8.86 秒。

以上评测与速度数据均为官方自报口径,截至发稿未见第三方复现;680 tokens/s 的测试条件为单张 NVIDIA GB300、BF16 精度、batch size=1、内部 Agent 场景数据。

决策模型预告与生态进展

DiffuSpace 同时预告了基于该模型的决策模型,面向快速结构化判断任务,将在后续发布。该决策模型支持联合模式,将同一材料下的多个问题放在同一次去噪过程中并行生成答案,每次最多 8 个。官方称在包含 500 组、2420 道关联问题的内部验证中,联合模式答对 95.0% 的问题、80.4% 的问题组全部答对,独立作答时两项成绩分别为 89.8% 和 62.4%;TypeSafe 决策模型 Jev 在相同题目的历史评测中分别为 63.6% 和 15.8%。

生态方面,SigmaZ 为其在 GenUI 方向的独家生态伙伴,已上线教育场景内测 Demo,双方正进行联合后训练,计划将 token 吞吐量提升到 2000 tokens/s。官方表示,后续将继续推进扩散语言模型的规模化研究,提升模型能力与推理速度。