NVIDIA 开源统一扩散语言模型 NLD-Uni，视觉理解与图像生成共用一个模型

2026 年 10 月 29 日——NVIDIA 于 10 月 27 日发布并开源统一离散扩散大语言模型 NLD-Uni（Nemotron-Labs-Diffusion-Uni），同一个模型同时承担视觉理解与图像生成任务，模型权重与推理代码已上架 Hugging Face，论文同日提交 arXiv。

该模型由 NVIDIA 研究团队开发，论文题为 Nemotron-Labs-Diffusion-Uni: Elastic Self-Refining Unified Diffusion LLM with Cross-Paradigm On-Policy Distillation，一作 Shufan Li 亦为此前统一扩散模型 LaViDa-O 的一作。官方在论文摘要中称，NLD-Uni 在统一扩散语言模型（DLLM）范畴内的视觉问答、多模态推理、目标定位、文生图与图像编辑等任务上达到最先进水平，并明确表示"模型与代码已公开可用"。

理解与生成共用一个模型

NLD-Uni 以 Nemotron 扩散语言模型为基座，采用论文所称的 Elastic-MoT（弹性混合）设计：理解与生成分别使用独立的 transformer 参数路径，同处一个多模态框架内，按任务加载不同分支。具体分为三个弹性视图——视觉理解视图加载 8B 理解分支；文生图视图组合 4B 理解参数与 8B 生成分支（合计 12B）；交错视图使用两个完整分支，全量 16B。

语言解码同时支持自回归与块扩散两种模式；图像理解经连续视觉编码器提取特征后输出文本，图像生成则对离散视觉 token 做迭代扩散解码，输出分辨率支持 1024×1024，并可执行图像编辑。

论文指出 NLD-Uni 有两项核心训练技术：

• 跨范式 on-policy 蒸馏（OPD）：把自回归视觉语言模型的理解能力与连续流模型的生成能力，统一迁移进这一个扩散语言模型。官方消融数据显示，该阶段使多模态推理各基准提升 3.5 至 15.1 个百分点，图像编辑 ImgEdit 总分从 3.81 提至 4.17。
• 渐进自精炼扩散过程：区别于传统掩码扩散"干净 token 一步变成掩码 token"的做法，训练时逐步在多个步骤中腐坏每个 token，推理时允许对 token 做中间提交，从而渐进地自我精炼视觉质量。

训练规模为 64 张 H100 运行 26 天，其中最终 on-policy 蒸馏阶段 5 天；训练数据超过 1 亿图文对（HF 模型卡口径）。

主要评测数据

论文正文（Table 1-4）与 HF 模型卡披露的 NLD-Uni 成绩如下：

口径说明：官方"最先进水平"的表述限定于统一扩散语言模型（DLLM）范畴。论文同时承认，与专用的自回归视觉语言模型和连续扩散模型相比，NLD-Uni 是"大幅缩小差距"——例如 MMMU 为 60.7 分，仍低于对比表中 Qwen3-VL-8B 的 69.6 分；GenEval 单项中 Counting（0.79）、Colors（0.87）亦非满分段。读者引用时应保留这一限定。

开源与部署

截至发稿，该模型在 Hugging Face 上处于发布初期（下载数两位数）。Nemotron-Labs-Diffusion 基座系列（3B/8B/14B，支持自回归、块扩散与自推测三种解码模式）已于 2026 年 5 月 19 日开源，NLD-Uni 是该系列向多模态统一的延伸。