2026 年 11 月 17 日——美团 LongCat 团队于 11 月 15 日开源音频驱动数字人视频生成框架 LongCat-Video-Avatar 1.6,在 1.5 基础上改善唇音同步与面部、身体动作的协调性,通过抑制自回归续写的误差累积支持生成超过 10 分钟的数字人视频,模型权重以 MIT 许可发布于 Hugging Face 与 ModelScope,推理代码与技术报告同步公开。

据官方技术报告,在覆盖六个系统、33,051 次有效投票的人类偏好 Arena 评估中,1.6 以 1068.1 的 Bradley–Terry Elo 分位列第二,仅次于商业系统 OmniHuman-2.0,领先前代 1.5 及 HeyGen、OmniHuman-1.5、Kling Avatar 2.0。

1.6 的三项核心改进

官方模型卡将本次升级归纳为三点:唇部动画更自然稳定,减少夸张或紧绷的口型、过红的唇色与口腔区域的时间不稳定;长视频生成更稳定,缓解自回归视频续写中的误差累积,在超过 10 分钟的视频中保持视觉质量、身份一致性与时间连贯性;端到端推理更快,通过流水线与模型执行优化加速生成与部署。

技术报告披露,改进来自一套后训练管线:基座模型保持冻结,强化学习分支采用 GRPO 优化表情与动作自然度;蒸馏分支先以 DMD2 将采样从 50 步压缩至 8 步,再调整文本-音频无分类器引导(CFG)路径缓解面部过饱和与唇部泛红,随后通过长视频 rollout 与 on-policy 自蒸馏(OPSD)让模型在自身生成的历史上学习续写。两个分支各训练一个 LoRA 适配器,推理时联合启用,不修改基座参数。

人类偏好评估位列第二

Arena 评估基于 EvalTalker 基准的 508 组图像-语音对,覆盖六个系统的全部 15 种配对,共收集 33,051 次有效投票,标注员须先通过准确率不低于 80% 的资格测试。

排名 系统 开放属性 Arena Elo
1 OmniHuman-2.0 闭源商业 1236.7
2 LongCat-Video-Avatar 1.6 开源 1068.1
3 LongCat-Video-Avatar 1.5 开源 1051.8
4 HeyGen 闭源商业 908.1
5 OmniHuman-1.5 闭源商业 880.6
6 Kling Avatar 2.0 闭源商业 854.7

直接对比中,1.6 对 HeyGen、OmniHuman-1.5、Kling Avatar 2.0 的得票率分别为 72.2%、73.5%、76.6%,对前代 1.5 在 2,535 次有效投票中获 55.6%。对 OmniHuman-2.0 的得票率为 24.7%,官方报告分析认为,差距部分源于 OmniHuman-2.0 对参考图像细节的增强渲染,而 LongCat 的输出更贴近输入原貌。

对比前代的量化变化

技术报告另设拟人度评估,由 270 名参与者对 508 组样本按 1–5 分打分、每条视频三人标注:整体均分从 1.5 的 3.006 升至 3.322,真实人物输入从 3.083 升至 3.441;动漫输入从 2.246 降至 2.114,官方解释为 OPSD 训练集中长时动漫视频较少,泛化能力略受影响。

专家标注的问题率同步下降:

指标 1.5 1.6
表情/动作与音频不匹配 13.0% 6.7%
表情过渡不自然 8.9% 6.5%
角色核心属性改变 1.4% 0.4%
颜色或分辨率改变 3.1% 0.0%
整体一致性问题 19.9% 11.6%

唇音同步不匹配率从 83.7% 降至 82.5%,该项以 0.5 倍速播放逐帧核查,口径严格,绝对值偏高。

技术规格与获取方式

1.6 沿用 1.5 的模型架构,属检查点级升级,基于 13.6B 参数的 LongCat-Video 基座模型。

项目 规格
音频编码器 Whisper-large-v3(1.5 起替换 Wav2Vec2)
支持任务 音频文本生视频、音频图像生视频、视频续写
音频输入 单路或多路,支持多人对话
输出分辨率 480p / 720p
蒸馏推理 8 步,默认前 4 步 DMD LoRA、后 4 步 OPSD LoRA
量化选项 weight-only INT8 或 FP8,二者互斥
权重许可 MIT

权重、代码与报告获取地址如下:

  • 代码仓库:https://github.com/meituan-longcat/LongCat-Video
  • Hugging Face:https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.6
  • ModelScope:https://www.modelscope.cn/models/meituan-longcat/LongCat-Video-Avatar-1.6
  • 项目主页:https://meigen-ai.github.io/LongCat-Video-Avatar-1.6-Page/
  • 技术报告:https://github.com/meituan-longcat/LongCat-Video/blob/main/assets/LongCat-Video-Avatar-1.6-Tech-Report.pdf

权重可通过 huggingface-cli 下载:

huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.6 --local-dir ./weights/LongCat-Video-Avatar-1.6

版本沿革与部署提示

LongCat-Video-Avatar 初代于 2025 年 12 月 16 日发布,1.5 于 2026 年 5 月 21 日引入 Whisper-large-v3 音频编码器与 8 步蒸馏推理,1.6 为该系列第三次迭代。由于架构不变,现有 1.5 流水线可直接替换检查点完成升级;可选的 weight-only INT8 DiT 据 ComfyUI Wiki 整理可将扩散权重从约 30 GB 降至 15 GB,FP8 模式需安装 Transformer Engine 且与 INT8 互斥。截至发稿,社区 ComfyUI-LongCat-Avatar 插件仅覆盖 1.5。MIT 许可允许个人与商用自行部署,官方项目页另提供与 OmniHuman-2.0、HeyGen、Kling Avatar 2.0、OmniHuman-1.5 的同输入对比视频。