2026 年 11 月 17 日——英伟达于 11 月 12 日在 Hugging Face 开源连续扩散语言模型家族 Nemotron-Labs-Sigma,提供 3B 与 8B 两个参数规模共 14 个检查点,推理代码与权重一并发布,采用允许商用的 NVIDIA Nemotron 开放模型许可证;配套论文《Large Language Continuous Diffusion Models》(arXiv:2610.02665)同日更新至 v2。论文称其为首个大规模(3B/8B)连续扩散语言模型家族,在数学与编程基准上超过离散扩散与自回归基线,蒸馏版每个 32 token 块仅需 4 次去噪函数评估,配合自投机解码在 GB200 上相对自回归对照模型吞吐提升约 3.5 倍。
本文基于官方模型卡与论文全文,梳理 Sigma 的设计动机、架构与训练、14 个检查点的分工、基准表现,以及少步蒸馏与自投机解码两条加速路径,并说明部署门槛与当前局限。文中性能数据均为官方模型卡或论文口径,截至发稿未见独立第三方评测。
2026-11-17 · AI · 扩散语言模型 · 开源 · 推理加速
一、概览
Nemotron-Labs-Sigma 是英伟达 Nemotron-Labs 扩散语言模型线的最新成员。此前的 Nemotron-Labs-Diffusion 系列采用离散(掩码)扩散,Sigma 则把图像与视频生成中主流的连续扩散引入语言建模,两者共用同一套内部训练语料。论文初版(v1)于 10 月 2 日提交 arXiv,v2 于 11 月 12 日更新,与权重在 Hugging Face 的发布同日;作者团队来自英伟达与佐治亚理工学院等机构,共 17 人,包括 Arash Vahdat、Morteza Mardani 等扩散模型方向研究者。
本次开源的不止一个模型,而是一个覆盖「研究基座—指令助手—快速生成—低延迟解码」的检查点矩阵:3B 与 8B 各含基座、指令版、四档少步蒸馏版与一个自投机解码版,合计 14 个仓库。官方将模型定位为面向并行解码、少步蒸馏与投机解码研究的开放底座,而非托管服务——英伟达不托管任何在线接口,模型在用户自有硬件上离线运行。
二、从离散到连续的设计动机
论文摘要指出,离散扩散语言模型(dLM)虽能并行解码、提升生成速度,但其非平滑、高维的离散空间阻碍了用于推理与推理加速的轨迹调控(trajectory steering)。Sigma 的出发点正是把生成过程搬到一个可调控的低维连续空间:它在 16 维连续 token 嵌入空间中对被高斯噪声污染的嵌入去噪,去噪器网络与 token 嵌入通过似然优化联合学习,从而同时学到一套「最优嵌入几何」,并以预训练自回归权重热启动。
这一连续表示带来论文强调的两个结构性优势。其一,平滑的 ODE/SDE 潜轨迹在低去噪步数(NFE)下优雅退化,使少步蒸馏成为可能;其二,嵌入空间可直接调控,在质量与多样性之间权衡,pass@k 随 k 增大持续提升。论文还指出,分类器自由引导(CFG)与 score 温度是高保真推理与编程的关键推理旋钮。与离散扩散「逐 token 掩码预测」不同,Sigma 按块并行去噪整段 token,已提交的 token 通过标准 KV 缓存复用。
三、模型架构与训练
Sigma 采用 Ministral 风格的 decoder-only Transformer 主干(分组查询注意力、SwiGLU、旋转位置编码),叠加一个在 16 维连续嵌入空间工作的扩散生成头。两个规模的具体规格如下(据官方模型卡):
| 项目 | Sigma-3B | Sigma-8B |
|---|---|---|
| 层数 | 26 | 34 |
| 隐藏维度 | 3072 | 4096 |
| FFN 维度 | 9216 | 14336 |
| 查询头 / 键值头 | 32 / 8 | 32 / 8 |
| 头维度 | 128 | 128 |
| 归一化 / 激活 / 位置编码 | RMSNorm / SwiGLU / YaRN RoPE | RMSNorm / SwiGLU / YaRN RoPE |
| 连续嵌入空间 | 16 维 | 16 维 |
| 上下文长度 | 4096 token | 4096 token |
| 支持语言 | 英文 | 英文 |
噪声调度采用单调的 32 阶 Bernstein(Bezier)映射,gamma 端点可学习(8B 为 [-5.0565, 4.907],3B 为 [-5.4150, 4.8549])。文本按块并行解码,基座默认每块 64 token、蒸馏版按 32 token 块生成,使用 DDPM/DDIM 采样器并带自条件化;每块的去噪函数评估次数 NFE = 步数 + 1。官方推荐基座用 DDIM 采样器配 log_snr 噪声网格、32 token 块,步数越低需越强的 score 温度(DDIM-32 取 w=3、τ=0.3,DDIM-16 取 w=3、τ=0.4,DDIM-8 取 w=3、τ=0.6,DDIM-4 取 w=2、τ=0.8);低于约 16 步基座质量明显下降,应改用蒸馏版。
训练方面,据官方模型卡,模型使用英伟达内部约 1.3 万亿 token 英文语料,分两阶段:约 1 万亿 token 的自回归初始化,加约 0.3 万亿 token 的连续扩散训练,语料涵盖网页、文章、对话、代码及数学、科学、法律、金融等领域,与此前发布的 Nemotron-Labs-Diffusion 系列同源,训练数据不公开。指令版另在内部复合监督微调数据(对话、推理、数学、编程指令,英文)上微调,微调数据同样不公开。
四、14 个检查点与开源详情
据 Hugging Face 的 nvidia 组织页,本次发布的 14 个检查点按用途分为四类:
| 类别 | 检查点 | 数量 | 用途 |
|---|---|---|---|
| 基座 | Sigma-3B、Sigma-8B | 2 | 并行解码研究、微调与蒸馏起点 |
| 指令版 | Sigma-3B-instruct、Sigma-8B-instruct | 2 | 对话与指令跟随 |
| 少步蒸馏版 | distill-3B 与 distill-8B 各 nfe2、nfe4、nfe8、nfe16 | 8 | 固定步数快速生成 |
| 自投机解码版 | distill-spec-3B、distill-spec-8B | 2 | 低延迟自投机解码 |
基座版是预训练模型,官方明确其「不是指令跟随助手」,适合做采样、少步蒸馏、轨迹调控研究与下游微调;对话与指令跟随应使用对应 instruct 版。少步蒸馏版由 Phased Distribution Matching Distillation(Phased DMD)从同架构的多尺度 SUSReg 正则化教师(MS-SUSReg)蒸馏得到,步数由训练锁定。自投机解码版在此基础上进一步用接受目标(X3)训练,直接优化验证头接受的草稿 token 数。
全部权重与推理代码位于 Hugging Face 的 nvidia/Nemotron-Labs-Sigma 系列仓库,许可证为 NVIDIA Nemotron Open Model License,允许商业与非商业用途,部署地域为全球。需要注意,训练数据与微调数据均不随仓库发布,英伟达也不提供托管推理服务。
五、基准表现与离散扩散和自回归的对比
论文摘要称,预训练后的 Sigma 在 GSM8K、Minerva、HumanEval、MBPP 等标准基准上超过掩码离散扩散与自回归基线,监督微调后在 MATH-500、AIME 等推理任务上同样领先,其中编程任务的增益最稳定;官方模型卡则把推理精度表述为「与最先进的掩码扩散语言模型相当」。两种口径并存,前者为论文自评、后者为模型卡概述。
论文给出的 8B 预训练对比(多生成种子均值,Sigma 取 DDPM 256 步/块、w=3、τ=0.1)如下,六任务含 GSM8K、Minerva Math、HumanEval、HumanEval+、MBPP、MBPP+:
| 模型 | 解码模式 | GSM8K | Minerva Math | HumanEval | MBPP | 六任务均值 |
|---|---|---|---|---|---|---|
| Sigma-8B | 连续扩散(DDPM 256 步) | 88.57 | 66.72 | 65.12 | 65.74 | 71.16 |
| Nemotron-Labs-Diffusion-8B | 离散扩散 | 87.26 | 65.16 | 62.80 | 67.00 | 70.22 |
| Qwen3-8B | 自回归 | 86.73 | 52.94 | 64.63 | 69.40 | 68.91 |
| Dream-7B | 离散扩散 | 77.18 | 39.60 | 54.88 | 56.80 | 58.74 |
| LLaDA-8B | 离散扩散 | 70.96 | 27.30 | 32.32 | 40.80 | 41.78 |
从表中可见,Sigma-8B 在六任务均值(71.16)与 HumanEval(65.12)、HumanEval+(60.61)上领先,但在 MBPP(65.74)上略低于 Nemotron-Labs-Diffusion-8B(67.00)与 Qwen3-8B(69.40),并非逐项全胜。3B 规模上,Sigma-3B(DDPM 256 步)六任务均值 65.55,高于 Nemotron-Labs-Diffusion-3B 的 64.74。论文另给出指令版在 GSM8K、MATH-500、AIME24/25、HumanEval、MBPP、MMLU、GPQA、IFEval 等更宽基准上的对比,整体结论与摘要一致:连续扩散在推理与编程上具备对离散扩散和自回归的竞争力,编程增益尤为突出。
六、推理加速的两条路径
少步蒸馏
论文称,在所研究的蒸馏方法中分布匹配(distribution matching)最强,可在数学任务上带来约 8 倍、编程任务上约 4 倍加速(每次前向分别产出 8 与 4 个 token),精度损失可忽略且保留多样性。本次发布的 distill-nfe4 检查点把每个 32 token 块固定为 4 次去噪函数评估(NFE=4)加 1 次最终读出,合计每块 5 次去噪器调用,步数不可任意覆盖;同系列另发布 NFE 为 2、8、16 的版本。两个规模 nfe4 版的官方评测如下(10 个生成种子、CFG 1、score 温度 1、32 token 块,均值 ± 2 标准误):
| 基准 | distill-8B-nfe4 | distill-3B-nfe4 |
|---|---|---|
| GSM8K(CoT) | 86.86 ± 0.28 | 82.23 ± 0.34 |
| MATH(Minerva) | 61.52 ± 0.20 | 59.13 ± 0.19 |
| HumanEval | 60.61 ± 1.43 | 52.13 ± 1.56 |
| HumanEval+ | 57.99 ± 1.20 | 48.72 ± 1.20 |
| MBPP | 57.50 ± 0.61 | 40.62 ± 0.91 |
| MBPP+ | 73.70 ± 1.07 | 58.81 ± 1.22 |
| 六任务均值 | 66.36 ± 0.46 | 56.94 ± 0.46 |
可以看到,四步蒸馏在大幅压缩步数的同时仍保持了可用的数学与编程精度,8B 版六任务均值 66.36,约为同规模基座高步数结果(71.16)的九成出头,换取的是每块仅 5 次去噪器调用的推理成本。
自投机解码
自投机解码版(distill-spec)让模型「自己给自己当草稿模型」:扩散头一次调用起草一个 32 token 块,再由模型自身的自回归头验证,输出与贪心自回归结果完全一致——接受机制只改变每轮提交的 token 数,不改变内容。两个头都随仓库发布且缺一不可,该版训练时关闭自条件化,推理时也不应开启。官方以「每轮平均接受长度(含奖励 token)」衡量吞吐收益。
distill-spec-3B 模型卡给出了逐基准的加速倍数(口径:SGLang、BF16、单卡 GB200、单请求,相对该模型自身自回归解码的吞吐):
| 基准 | 提示数 | 平均接受长度 | 相对自身 AR 加速 |
|---|---|---|---|
| GSM8K(CoT) | 1303 | 10.49 | 3.28x |
| HumanEval | 158 | 7.90 | 2.61x |
| MBPP | 499 | 9.21 | 2.61x |
| SPEED-Bench | 703 | 5.25 | 1.98x |
模型卡说明,接受训练使 GSM8K、HumanEval、MBPP 的平均接受长度分别提升 14.9%、14.1%、15.4%,且自回归解码精度不变。distill-spec-8B 模型卡的单次评测快照显示平均接受长度为 HumanEval 7.91(164 提示)、GSM8K CoT 11.86(1319 提示)、MBPP 13.37(500 提示);论文摘要进一步报告,SFT 前的蒸馏 8B 模型配合一步自投机解码,在 GB200 上相对自回归对照模型吞吐提升约 3.5 倍,并优于掩码扩散基线。论文表格还显示,接受训练把 8B 版 GSM8K 的接受长度增益从纯蒸馏的 +22.6% 提高到 +33.0%,而精度基本保持(86.4 对 NLD-8B 基座 88.8)。
作为参照,基座 Sigma-8B 在单卡 H100(bfloat16、DDPM 每 64 token 块 32 步、生成 256 token)下吞吐约 120 至 140 token/s。此外,连续嵌入空间支持对生成轨迹的调控,可在质量与多样性之间权衡,pass@k 随 k 增大持续提升,这是离散扩散难以直接实现的特性。
七、部署方式与当前局限
Sigma 全系列以标准 transformers 方式加载(trust_remote_code),推理仅需 PyTorch 2.4 及以上与 Transformers 4.55 及以上,官方强调用纯 PyTorch 实现、不依赖自定义 kernel、flash-attention 或额外训练框架,降低了上手门槛。模型需在 CUDA 英伟达 GPU 上以 bfloat16 运行,兼容 Ampere、Hopper、Lovelace、Blackwell 架构,推荐 Linux;官方明确不支持 CPU 推理,原因是扩散采样器在 CPU 上数值退化、输出不可用。
当前局限同样清晰:模型仅支持英文,上下文长度 4096 token(提示加生成),对长文档与多语言场景尚不适用;训练与微调数据不公开,复现训练无从下手;基座版不具备指令跟随能力,需自行微调或改用 instruct 版;基座低于约 16 步质量明显下降,少步生成必须依赖蒸馏版,而蒸馏版步数被训练锁定、不能灵活调整;自投机版需同时加载扩散头与自回归头。所有基准成绩均为官方/论文自评口径,截至发稿未见独立第三方复测,实际部署体验有待社区验证。
八、行业观察
Sigma 的意义不止于又一个开源模型,而在于把连续扩散确立为语言建模的一条可行路线。过去扩散语言模型多以离散(掩码)形式出现,并行解码虽快,却受限于非平滑空间难以做轨迹调控与高效蒸馏;Sigma 用 16 维连续嵌入空间换来了平滑轨迹,从而同时打开少步蒸馏、嵌入调控与自投机解码三个加速与可控性维度。论文报告的数学约 8 倍、编程约 4 倍蒸馏加速,以及 GB200 上约 3.5 倍的自投机吞吐增益,正是这一表示选择的直接回报。
从英伟达的开源节奏看,Sigma 与 Nemotron-Labs-Diffusion 共用语料、由离散走向连续,延续了其以开放权重推动推理效率研究的策略;14 个检查点把「研究基座—指令助手—快速生成—低延迟解码」一次性铺开,便于社区在不同环节对照实验。对开发者而言,基座适合做采样与蒸馏研究,instruct 版面向对话,nfe4 等蒸馏版与 distill-spec 版则面向低延迟生成。后续值得关注的,是独立第三方的精度与吞吐复测、更大规模与多语言/长上下文的扩展,以及社区在真实部署中对这套连续扩散栈的接受程度。
评论