2026 年 11 月 4 日——英伟达于 10 月 22 日在 Hugging Face 上线开源多语言通用语音增强模型 NemotronLabs RE-USE：参数量仅 960 万，可处理加性噪声、混响、削波、带宽限制、编解码器失真、丢包以及低质量麦克风引入的七类音频劣化，支持 8kHz 至 48kHz 单声道音频输入与输出，模型卡注明该模型可直接用于商业或非商业用途。

NemotronLabs RE-USE 由 NVIDIA 开发，官方在模型卡中将其定位为面向真实场景、语言无关的通用语音增强（Universal Speech Enhancement，USE）模型，训练数据覆盖中文、德语、英语、西班牙语、法语五种语言。模型对应两篇论文：主论文《Rethinking Training Targets, Architectures and Data Quality for Universal Speech Enhancement》（arXiv:2603.02641），模型卡参考文献标注为 NeurIPS 2026；另一篇《One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications》（arXiv:2606.25621）面向不同延迟要求的实时应用场景，标注为 IEEE SLT 2026。

模型能力与技术架构

针对劣化类型，官方模型卡列出七类：加性噪声、混响、削波、带宽限制、编解码器失真、丢包、低质量麦克风劣化。对于重叠语音场景，模型经过训练可保留主要说话人的语音、抑制其他说话人。若需要更好的笑声保留效果，官方另行提供了变体模型 NVIDIA-NemotronLabs-RE-USE-laughter。

架构方面，模型卡技术参数显示，RE-USE 采用卷积编码器、卷积解码器以及用于时频建模的 Mamba 网络构成，网络架构为 30 层双向 Mamba，参数量 960 万（9.6×10⁶）。输入输出均为一维单声道 .wav 音频，采样率覆盖 8、16、22.05、24、32、44.1、48 kHz 七档。

URGENT 2025 基准：9.6M 对比 250M 与 500M 模型

官方模型卡公布了在 URGENT 2025 非盲测集（子集）上与其他开源 USE 模型的对比，参考基准为原始消音室纯净语音。在完整测试集上，RE-USE 以 9.6M 参数对比参数量约为其 26 倍的 Sidon（250M）与 52 倍的 UniPASE（500M），在 NISQA、PESQ、STOI、说话人相似度、ASR 字符准确率五项指标上领先两个对比模型，DNSMOS、UTMOS、SBERT、LPS 四项居次位或持平。

模型 参数量 DNSMOS NISQA UTMOS PESQ STOI SBERT LPS 说话人相似度 ASR 字符准确率
Noisy（未增强） - 1.84 1.69 1.56 1.34 0.50 0.74 0.61 0.73 81.29
Sidon 250M 3.34 3.87 3.21 1.73 0.62 0.85 0.80 0.74 84.68
UniPASE 500M 3.21 4.03 2.96 2.17 0.76 0.89 0.85 0.81 87.28
NemotronLabs RE-USE 9.6M 3.29 4.33 2.94 2.57 0.78 0.88 0.85 0.86 89.17

口径说明（据官方模型卡）：SBERT 为 SpeechBERTScore，LPS 为 Levenshtein 音素相似度，说话人相似度基于 ECAPA-TDNN，ASR 字符准确率使用 OWSM v3.1。分采样率子集方面，16kHz 子集对比 UniSE、44.1kHz 子集对比 Resemble Enhance、48kHz 子集对比 ClearVoice：RE-USE 在三个子集的 PESQ 与 ASR 字符准确率上均为最高，其中 44.1kHz 子集 ASR 字符准确率 91.54 对 Resemble Enhance 的 47.22，48kHz 子集 ASR 字符准确率 91.05 对 ClearVoice 的 89.92。

使用方式：带宽扩展与长录音分块推理

官方在 Hugging Face 仓库提供 Gradio 在线演示，可直接上传含噪音频或视频体验。本地使用流程为：下载仓库（huggingface-cli download nvidia/NVIDIA-NemotronLabs-RE-USE），将含噪语音文件放入 noisy_audio/ 目录后运行 inference.sh，增强结果输出至 enhanced_audio/ 目录。两处长录音与带宽选项如下：

  • 带宽扩展：在推理脚本中通过 BWE 参数设置目标带宽即可启用带宽扩展功能，需额外安装 resampy。
  • 分块推理：若含噪语音较长（例如超过 30 秒，而训练数据均为小于 10 秒的片段）或触发 GPU 显存不足（OOM），改用 inference_chunk.sh 处理，块长 chunk_size_in_seconds 与重叠比例 hop_length_portion 均可在脚本中配置。

部署环境方面，官方提供预构建的 Docker 镜像以简化 Mamba 配置；推理加速引擎为 Triton，官方验证硬件为 NVIDIA Ampere 架构（A100），操作系统支持 Linux。许可证为 OpenMDW License Agreement 1.1（OpenMDW-1.1），商业与非商业用途均可，项目目前不接受外部贡献。

训练数据：约 2500 小时多语言合成语音

模型卡披露，训练语音数据约 2500 小时，全部为合成方式生成，单声道、单说话人，采样率 8kHz 至 48kHz。退化材料另含约 180 小时噪声数据（Audioset + FreeSound，来自 DNS5 挑战赛）、约 6 万条 DNS5 模拟房间脉冲响应（RIR）与约 70 条 MicIRP 真实麦克风脉冲响应样本，训练时随机叠加，覆盖加性噪声、混响、削波、带宽受限、编解码伪影、包丢失六类退化。

数据源 语言/类型 规模
CommonVoice 19.0 德/英/西/法/中文 约 1300 小时
Multilingual Librispeech 德/英/西/法 约 450 小时
LibriVox（DNS5 挑战赛） 英语 约 350 小时
LibriTTS 英语 约 200 小时
WSJ 英语 约 85 小时
VCTK 英语 约 80 小时
Riva Speakers 内部说话人数据 未披露
Audioset + FreeSound（DNS5） 环境噪声 约 180 小时
DNS5 模拟房间脉冲响应 混响 约 6 万条
MicIRP 麦克风冲激响应 约 70 条

模型卡将适用场景列为两类：普通用户与内容创作者提升录音语音质量，以及研究人员增强语音数据集、用于训练 TTS 模型与语音大语言模型（Speech LLMs）。