2026 年 11 月 17 日——美团 LongCat 团队于 11 月 15 日开源音频驱动数字人视频生成框架 LongCat-Video-Avatar 1.6,在 1.5 基础上改善唇音同步与面部、身体动作的协调性,通过抑制自回归续写的误差累积支持生成超过 10 分钟的数字人视频,模型权重以 MIT 许可发布于 Hugging Face 与 ModelScope,推理代码与技术报告同步公开。
据官方技术报告,在覆盖六个系统、33,051 次有效投票的人类偏好 Arena 评估中,1.6 以 1068.1 的 Bradley–Terry Elo 分位列第二,仅次于商业系统 OmniHuman-2.0,领先前代 1.5 及 HeyGen、OmniHuman-1.5、Kling Avatar 2.0。
1.6 的三项核心改进
官方模型卡将本次升级归纳为三点:唇部动画更自然稳定,减少夸张或紧绷的口型、过红的唇色与口腔区域的时间不稳定;长视频生成更稳定,缓解自回归视频续写中的误差累积,在超过 10 分钟的视频中保持视觉质量、身份一致性与时间连贯性;端到端推理更快,通过流水线与模型执行优化加速生成与部署。
技术报告披露,改进来自一套后训练管线:基座模型保持冻结,强化学习分支采用 GRPO 优化表情与动作自然度;蒸馏分支先以 DMD2 将采样从 50 步压缩至 8 步,再调整文本-音频无分类器引导(CFG)路径缓解面部过饱和与唇部泛红,随后通过长视频 rollout 与 on-policy 自蒸馏(OPSD)让模型在自身生成的历史上学习续写。两个分支各训练一个 LoRA 适配器,推理时联合启用,不修改基座参数。
人类偏好评估位列第二
Arena 评估基于 EvalTalker 基准的 508 组图像-语音对,覆盖六个系统的全部 15 种配对,共收集 33,051 次有效投票,标注员须先通过准确率不低于 80% 的资格测试。
| 排名 | 系统 | 开放属性 | Arena Elo |
|---|---|---|---|
| 1 | OmniHuman-2.0 | 闭源商业 | 1236.7 |
| 2 | LongCat-Video-Avatar 1.6 | 开源 | 1068.1 |
| 3 | LongCat-Video-Avatar 1.5 | 开源 | 1051.8 |
| 4 | HeyGen | 闭源商业 | 908.1 |
| 5 | OmniHuman-1.5 | 闭源商业 | 880.6 |
| 6 | Kling Avatar 2.0 | 闭源商业 | 854.7 |
直接对比中,1.6 对 HeyGen、OmniHuman-1.5、Kling Avatar 2.0 的得票率分别为 72.2%、73.5%、76.6%,对前代 1.5 在 2,535 次有效投票中获 55.6%。对 OmniHuman-2.0 的得票率为 24.7%,官方报告分析认为,差距部分源于 OmniHuman-2.0 对参考图像细节的增强渲染,而 LongCat 的输出更贴近输入原貌。
对比前代的量化变化
技术报告另设拟人度评估,由 270 名参与者对 508 组样本按 1–5 分打分、每条视频三人标注:整体均分从 1.5 的 3.006 升至 3.322,真实人物输入从 3.083 升至 3.441;动漫输入从 2.246 降至 2.114,官方解释为 OPSD 训练集中长时动漫视频较少,泛化能力略受影响。
专家标注的问题率同步下降:
| 指标 | 1.5 | 1.6 |
|---|---|---|
| 表情/动作与音频不匹配 | 13.0% | 6.7% |
| 表情过渡不自然 | 8.9% | 6.5% |
| 角色核心属性改变 | 1.4% | 0.4% |
| 颜色或分辨率改变 | 3.1% | 0.0% |
| 整体一致性问题 | 19.9% | 11.6% |
唇音同步不匹配率从 83.7% 降至 82.5%,该项以 0.5 倍速播放逐帧核查,口径严格,绝对值偏高。
技术规格与获取方式
1.6 沿用 1.5 的模型架构,属检查点级升级,基于 13.6B 参数的 LongCat-Video 基座模型。
| 项目 | 规格 |
|---|---|
| 音频编码器 | Whisper-large-v3(1.5 起替换 Wav2Vec2) |
| 支持任务 | 音频文本生视频、音频图像生视频、视频续写 |
| 音频输入 | 单路或多路,支持多人对话 |
| 输出分辨率 | 480p / 720p |
| 蒸馏推理 | 8 步,默认前 4 步 DMD LoRA、后 4 步 OPSD LoRA |
| 量化选项 | weight-only INT8 或 FP8,二者互斥 |
| 权重许可 | MIT |
权重、代码与报告获取地址如下:
- 代码仓库:https://github.com/meituan-longcat/LongCat-Video
- Hugging Face:https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.6
- ModelScope:https://www.modelscope.cn/models/meituan-longcat/LongCat-Video-Avatar-1.6
- 项目主页:https://meigen-ai.github.io/LongCat-Video-Avatar-1.6-Page/
- 技术报告:https://github.com/meituan-longcat/LongCat-Video/blob/main/assets/LongCat-Video-Avatar-1.6-Tech-Report.pdf
权重可通过 huggingface-cli 下载:
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.6 --local-dir ./weights/LongCat-Video-Avatar-1.6
版本沿革与部署提示
LongCat-Video-Avatar 初代于 2025 年 12 月 16 日发布,1.5 于 2026 年 5 月 21 日引入 Whisper-large-v3 音频编码器与 8 步蒸馏推理,1.6 为该系列第三次迭代。由于架构不变,现有 1.5 流水线可直接替换检查点完成升级;可选的 weight-only INT8 DiT 据 ComfyUI Wiki 整理可将扩散权重从约 30 GB 降至 15 GB,FP8 模式需安装 Transformer Engine 且与 INT8 互斥。截至发稿,社区 ComfyUI-LongCat-Avatar 插件仅覆盖 1.5。MIT 许可允许个人与商用自行部署,官方项目页另提供与 OmniHuman-2.0、HeyGen、Kling Avatar 2.0、OmniHuman-1.5 的同输入对比视频。
评论