2026 年 10 月 14 日——微软研究院（技术报告首页署名 Microsoft Research）公开 Code Video Model：编码智能体按提示词生成可执行 Three.js 场景程序，渲染出不到一分钟的代理预演视频，再通过 Early-Step Conditioning（早期步条件注入）仅在扩散采样前 5 步参考该预演，由冻结的 MiniMax-H3 结合参考图像生成 960×544、5 秒成片。据 24 页技术报告，在自建 CodeVideoBench 上，该方法在 QwenVL-3.8-27B、GPT-5.6、GPT-6 三种评委口径下总分 85.17、82.09、85.82，超过需额外训练的最强基线 VACE（74.29、73.10、80.59）。

Code Video Model 代码仓库于 2026 年 9 月 11 日在 GitHub 创建，按 Apache 2.0 许可证开放，随仓库一并提供 CodeVideoBench 基准数据集与项目页；截至 10 月 14 日仓库获得 479 个星标，中文科技自媒体于 10 月 13 日至 14 日跟进报道。

开源范围

项目 内容
代码仓库 GitHub code-video-model/CodeVideoModel，Apache 2.0 许可证
评测基准 CodeVideoBench，HuggingFace 数据集 code-video-model/CodeVideoBench，22 个案例、8 类应用
技术报告 24 页，项目页 code-video-model.github.io 公开，2026 年 10 月
示例素材 仓库 examples/ 目录，含跑车、登坦克、阁楼漫游、机器人导航等案例，CC BY 4.0 许可证
团队署名 Code Video Model Team，技术报告首页署名 Microsoft Research

工作流程：从提示词到成片

graph LR A["用户提示词"] --> B["GPT-6 编码智能体"] B --> C["Three.js 场景程序"] C --> D["代理预演视频渲染"] D --> E["早期步条件注入 仅前 5 步"] A --> G["冻结 MiniMax-H3"] F["GPT-Image-2 生成参考图像"] --> G E --> G G --> H["成片 960×544、5 秒"] style A fill:#e8f4f8,stroke:#1a6b8a style B fill:#ffecd6,stroke:#b7950b style C fill:#d6eaf8,stroke:#2980b9 style D fill:#d5f5e3,stroke:#27ae60 style E fill:#fadbd8,stroke:#c0392b style F fill:#ebdef0,stroke:#8e44ad style G fill:#fdebd0,stroke:#e67e22 style H fill:#e8f4f8,stroke:#1a6b8a

整个流程分三步。第一步由 GPT-6 担任编码智能体，把提示词写成可执行的 Three.js 程序，内容覆盖场景几何、物体运动与事件、相机参数与轨迹、时长与帧率；涉及抛物线、摆动等数学定义的动力学直接以方程计算。官方称代理视频渲染通常不到一分钟，修改几行代码即可调整机位或轨迹并重新预览，仓库内置浏览器查看器，支持环绕、平移、缩放与相机视锥、轨迹显示。第二步从代表帧出发，用 GPT-Image-2 生成 1536×864 参考图像，提供严格对齐（保留构图与内容）与文本引导两种模式。第三步把代理视频与参考图像一并输入冻结的引用到视频（Reference-to-Video，R2V）模型 MiniMax-H3，生成最终视频。

Early-Step Conditioning 机制

技术报告指出，若在全部 20 步采样中持续注入代理视频，成片会继承 Three.js 渲染的扁平合成外观。Early-Step Conditioning 将代理视频条件的暴露限制在前 5 步（占采样的 25%）：早期步骤先据其确定画面构图与运动结构，第 5 步之后撤掉该条件，提示词与参考图像全程保持有效，由预训练模型补全真实质感与细节。该调度无需任何训练，也不引入额外控制模块；报告称步数 K 在结构保持与外观泄漏之间权衡，消融中前 3 步、前 7 步的总分均低于前 5 步。MiniMax-H3 经由 Qwen3-VL 多模态编码与 VAE 两条原生通路接收代理视频，消融显示双通路注入优于任一单通路。

CodeVideoBench 评测结果

CodeVideoBench 覆盖建筑运镜、子弹时间、游戏画面、物理接地、产品摄影、机器人仿真、场景与世界编辑、轨迹变化 8 类共 22 个案例，从结构（Structure）、风格（Style）、质量（Quality）三个维度评分，评委为 QwenVL-3.8-27B、GPT-5.6 与 GPT-6，总体分为同一评委下三维度的均值。

方法 是否需额外训练 基座模型 QwenVL-3.8-27B GPT-5.6 GPT-6
VACE 是 Wan 74.29 73.10 80.59
Go-with-the-Flow 是 CogVideoX 48.48 55.23 65.84
Diffusion as Shader 是 CogVideoX 59.28 67.66 72.90
Text-to-video 否 MiniMax-H3 63.80 67.59 69.09
R2V 全程条件 否 MiniMax-H3 75.22 78.72 80.94
SDEdit 否 MiniMax-H3 64.37 68.66 69.22
Code Video Model 否 MiniMax-H3 85.17 82.09 85.82

数据来源：Code Video Model 技术报告主对比表。分维度看，QwenVL-3.8-27B 口径下 Code Video Model 结构 81.98、风格 80.33、质量 93.20；对照方法暴露出结构控制与外观保持的取舍——全程注入代理条件的 R2V 结构分 87.67 但风格分仅 57.07，从带噪代理隐变量出发的 SDEdit 结构分 93.92 而风格分仅 10.34。在满分 10 分的盲测人工评分中，Code Video Model 综合得分 8.17（结构 6.92、风格 8.46、质量 9.12），高于 R2V 的 7.64、SDEdit 的 6.85 与纯文本生视频的 6.70。

技术报告还将这套流程经 API 接入闭源模型 Seedance 2.5 完成演示，官方称代码驱动的场景描述可扩展至其他视频生成模型。局限方面，官方说明逐帧、像素级的精确对应仍具挑战：参考图像与代理视频主体拓扑差异较大时，成片保留主要构图与运动，但可能无法复现每个物体边界与姿态，严格合成与几何敏感编辑场景仍需后续工作。

部署要求

运行官方示例需要 Ubuntu 22.04、CUDA 12.6 驱动、Python 3.10 环境与 PyTorch 2.7.1，并从 HuggingFace 下载 MiniMax-H3 权重；Three.js 渲染依赖 Playwright Chromium，基准评测需通过 OpenRouter 调用 Qwen3.8-27B。推理命令以 --keep-steps 5 对应默认的前 5 步条件注入。