2026 年 11 月 21 日——法国 AI 实验室 Kyutai(由 Iliad 集团、CMA CGM 集团与 Schmidt Sciences 资助)于 11 月 20 日发布实时流式说话人视频模型 AURA(AUdio-dRiven streaming Avatar):以一段语音流和一张参考面孔为输入,逐块生成口型同步的说话人头部视频,无需预知后续音频;其中 AURA 1.3B 在单张 H100 GPU 上以 20.7fps 生成 576p 视频,快于 16Hz 的播放速度,实现实时。
同日,Kyutai 在 Hugging Face 开源了 AURA-1.3B 与 AURA-5B 两个版本的权重和代码,并一并放出一个包含 3 万条合成视频(共 38.7 小时)及教师预计算去噪轨迹的数据集;论文以 arXiv:2611.26540 提交,被 BMVC 2026 接收。
发布与开源情况
据官方博客与 Hugging Face 模型卡,本次发布内容包括四部分:
- 权重:AURA-1.3B 与 AURA-5B,其中 AURA-1.3B 的独立合并权重约 6.3GB(fp32 safetensors 格式);
- 代码:参考推理仓库 github.com/kyutai-labs/aura,一条命令即可由图片加音频生成视频;
- 数据集:3 万条合成说话人视频(38.7 小时),同时发布解码视频与教师的潜空间 ODE 轨迹,另含 Kyutai 自训的 1.3B 教师模型权重及其轨迹;
- 在线演示:kyutai.org/aura,AURA 1.3B 与 Kyutai 自家语音助手 Unmute(流式语音识别 + 文本大模型 + 流式语音合成)打通,在单张 H100 上实时对话。
许可证方面,模型卡显示权重以 CC BY-NC 4.0 发布,仅限非商业使用;官方说明这受制于蒸馏所用训练数据 Hallo3 的 CC BY-NC-ND 4.0 条款。
技术方案
官方博客介绍,AURA 通过两阶段蒸馏,把 50 步双向扩散教师模型压缩为 4 步因果(causal)学生模型:
- 第一阶段(ODE teacher forcing):以 MSE 损失训练学生回归教师的去噪 ODE 轨迹,训练数据为每模型 3 万条教师轨迹;
- 第二阶段(backward simulation DMD):采用分布匹配蒸馏(DMD)加向后模拟,在学生自身的去噪轨迹状态上计算损失,弥合少步蒸馏的质量差距。
架构上做了三处改造:以 4 个隐帧(论文版约 1 秒视频)为单位做分块因果注意力;去掉运动帧条件机制,历史上下文由 KV 缓存承担;训练时每个视频块采用不同的去噪时间步。推理时使用滚动 KV 缓存,只保留首个身份锚定块与最近块,显存占用不随视频长度增长,配合 RoPE 位置重排可支持无限长流式生成。
与既有方案的差异在音频前瞻:官方称双向模型要等待多秒音频才能开始生成,AURA 只需当前块音频即可出帧。由于一块视频须等其对应音频讲完才能生成,论文版(1 秒块)延迟约 2 秒;演示版改用 0.5 秒小块重训,延迟降至约 1.2 秒。
性能与对比
据论文报告,在单张 H100、端到端吞吐口径下,AURA 两个版本快于所有参与对比的方法:
| 方法 | 参数量 | 分辨率 | 去噪步数 | 端到端 fps |
|---|---|---|---|---|
| AURA 1.3B | 1.3B | 576p | 4 | 20.7 |
| AURA 5B | 5B | 720p | 4 | 9.7 |
| TalkVerse(教师) | 5B | 720p | 50 | 0.58 |
| Live Avatar | 14B | 480p | 4 | 1.9 |
| Hallo3 | 14.5B | 480p | 50 | 0.22 |
| Wan-S2V | 14B | 720p | 40 | 0.08 |
质量方面,论文数据显示:AURA 1.3B 在 HALLO3 Test(100 段 10 秒视频)上取得全场最佳 FVD(177.1)与最佳身份一致性 CSIM(0.84);AURA 5B 在 720p 下 FVD、JEDi 指标与教师 TalkVerse 相当或更优。官方组织的用户主观评测(27 名评审、400 组两两比较)中,两个 AURA 版本在画面质量、口型同步、参考保真与自然度四个维度均优于 Hallo3。60 秒连续流式生成测试里,AURA 1.3B 的 FVD 与口型同步指标在 6 个 10 秒分段保持平稳。需要注意,官方开源的参考代码在 H100 上约为 16fps,论文报告的 20.7fps 来自优化后的推理管线。
数据与规格
| 项目 | 数据 |
|---|---|
| 模型名称 | AURA(AUdio-dRiven streaming Avatar) |
| 版本 | AURA 1.3B、AURA 5B |
| 基座模型 | Wan2.1-T2V-1.3B(1.3B 版)/TalkVerse(基于 Wan2.2-5B,5B 版教师) |
| 音频编码器 | Mimi(Kyutai 流式音频编解码器) |
| 去噪步数 | 每块 4 步(教师为 50 步) |
| 生成速度 | 1.3B 版 576p、20.7fps(16Hz 播放);5B 版 720p、9.7fps |
| 硬件要求 | 单张 NVIDIA H100 |
| 流式延迟 | 论文版约 2 秒;演示版(0.5 秒块)约 1.2 秒 |
| 许可证 | 权重 CC BY-NC 4.0(非商业) |
| 论文 | arXiv:2611.26540,BMVC 2026 |
据官方公告,用户可在演示中挑选预设面孔或上传自己的肖像照,AURA 即以实时口型同步视频作答;从官方示例看,参考形象不限于真人照片,AI 生成的面孔图像同样可用作驱动素材。Kyutai 同时提醒,该模型可让真实感人物说出任意音频,禁止用于冒充他人、生成未经同意的内容或制造虚假信息。
评论