2026 年 10 月 29 日——阿里 ATH-MaaS 团队于 10 月 20 日发布并开源 0.8B 参数的统一文档理解模型 OvisOCR3,该模型以 Qwen3.5-0.8B 为基座,经多教师在线蒸馏与混合任务强化学习训练,将文档解析、通用 OCR、关键信息抽取、文档图表描述与跨页表格重建五大任务整合进单一模型,各任务通过提示词切换、无需分别部署。官方技术报告显示,OvisOCR3 在 OmniDocBench v1.6 上取得 96.74 的总分,在 OCRBench v2 上以英文 65.9、中文 61.3 的成绩位列双榜第一,权重以 Apache 2.0 许可证开放。
模型权重于 10 月 21 日上架 Hugging Face(ATH-MaaS/OvisOCR3),safetensors 单文件约 1.6GB,截至 10 月 29 日下载量约 2100 次、获 98 个赞;技术报告同步公开于 arXiv(编号 2610.33066),团队在 Hugging Face Spaces 提供在线 Demo。
1. 一个模型统一五大任务,提示词即接口
传统 OCR 落地通常需要为文档解析、字段抽取等流程分别部署不同模型。OvisOCR3 将五类能力收进同一份 0.8B 权重,官方模型卡说明,这些能力通过任务专属提示词选择,识别、抽取与理解合一,无需为每种任务单独部署模型。各任务的输入输出约定如下:
| 能力 | 输入 | 输出 |
|---|---|---|
| 文档解析 | 页面图像 + 解析模式提示词 | 结构化 JSON、版面 JSON 或 Markdown(LaTeX 公式、HTML 表格) |
| 通用 OCR | 图像,可选区域、参考、问题、目标语言或候选标签 | 文本、边界框、LaTeX、图表数据、标签或答案 |
| 关键信息抽取 | 图像,可选指定字段或 JSON 输出模板 | 键值记录或按模板输出的 JSON |
| 文档图表描述 | 页面图像 + 图表描述模式提示词 | 带定位的图表描述,流程图输出 Mermaid 表示 |
| 跨页表格重建 | 连续多页图像及其已解析 Markdown | 带来源页关联的完整 HTML 表格,或无续页预测 |
2. 四阶段训练:五个 4B 教师蒸馏进一个 0.8B 学生
据技术报告,OvisOCR3 基于 Qwen3.5-0.8B 分四个阶段训练:
| 阶段 | 内容 | 规模 |
|---|---|---|
| 续训预训练 | 真实与合成数据打底,视觉编码器、连接器与语言模型联合更新 | 约 7200 万样本 |
| 域均衡中期训练 | 五大域各占 16%–23%,采用 token 级与样本级双分支损失归一化并融合权重 | 约 880 万样本 |
| 多教师在线蒸馏 | 为每个域训练一个 4B 教师(Qwen3.5-4B 初始化,经域 SFT 与域 RL),教师在学生生成前缀上逐 token 监督 | 5 个教师 |
| 混合任务强化学习 | GRPO 框架下五域用各自奖励联合优化 | — |
双分支损失归一化针对的是多任务训练中的监督失衡问题:报告指出,通用 OCR 在混合数据中约占 22.8% 的样本,但只贡献约 5.2% 的监督 token,短答案任务在 token 平均损失下会被长文档解析任务淹没;token 级归一化对长任务友好、样本级归一化对短任务友好,两条分支训练后做权重融合。强化学习阶段则按域设计奖励,文档解析用编辑距离、表格 TEDS 与公式 CDM 组合,定位任务用 IoU 加重复预测惩罚,关键信息抽取对空字段误填、漏项、串位与超长四类错误施加惩罚,跨页表格采用关系优先奖励,即只有跨页关联判断正确才进入表格重建质量打分。推理阶段五个教师全部退役,仅保留 0.8B 学生模型。
3. 性能:文档解析三榜总分第一,OCRBench v2 双榜登顶
文档解析侧,OvisOCR3 在 OmniDocBench v1.6 上取得 96.74 的总分,并在 MDPBench、PureDocBench 与 Real5-OmniDocBench 三个基准上拿到总分第一:
| 模型 | OmniDocBench v1.6 | MDPBench | PureDocBench | Real5-OmniDocBench |
|---|---|---|---|---|
| Qwen3.8-Max | 93.70 | 86.40 | 80.56 | 86.86 |
| GLM-OCR | 95.22 | 67.30 | 63.34 | 90.32 |
| PaddleOCR-VL-1.6 | 96.34 | 78.90 | 65.44 | 93.19 |
| OvisOCR2(上代) | 96.58 | 69.00 | 75.10 | 92.29 |
| Xiaomi-OCR-0 | 96.83 | 73.00 | 74.60 | 92.73 |
| OvisOCR3 | 96.74 | 88.80 | 82.31 | 93.63 |
通用 OCR 侧,OCRBench v2 英文榜得分 65.9、中文榜 61.3,均为第一;相对基座 Qwen3.5-0.8B,英文榜从 41.5 提升 24.4 分、中文榜从 43.9 提升 17.4 分,并超过参数量大 5 倍的 Qwen3.5-4B(英文 54.1、中文 61.0):
| 模型 | OCRBench | OCRBench v2 英文 | OCRBench v2 中文 |
|---|---|---|---|
| Qwen3.5-0.8B(基座) | 79.1 | 41.5 | 43.9 |
| Qwen3.5-4B | 85.0 | 54.1 | 61.0 |
| HunyuanOCR-1.5 | 86.1 | 50.7 | 57.7 |
| GLM-OCR | 83.8 | 32.9 | 48.1 |
| OvisOCR3 | 88.8 | 65.9 | 61.3 |
其余三个任务族的关键数据:关键信息抽取在 OCRBench-KIE(90.50)、OCRBench v2-KIE(83.01)、CC-OCR KIE(88.69)及官方自建 KIE Bench(77.73)四个基准全部领先;文档图表描述在 DocFigCapBench 上定位 F1 达 90.97 排名第一,描述得分 6.93 接近 Qwen3.8-Max 的 7.30;跨页表格在 CrossTabBench 上关系 F1 达 97.07(精确率 96.20、召回率 97.96),在 MPDocBench-Parse 截断表 TEDS 上以 92.04 领先。
4. 数据与规格
| 项目 | 数据 |
|---|---|
| 模型名称 | OvisOCR3 |
| 发布团队 | 阿里 ATH-MaaS 团队 |
| 参数量 | 0.8B |
| 基座模型 | Qwen3.5-0.8B |
| 许可证 | Apache 2.0 |
| 权重体积 | safetensors 单文件约 1.6GB(1627MB) |
| 技术报告 | arXiv 2610.33066,2026 年 10 月 20 日提交 |
| 权重上架 | Hugging Face,2026 年 10 月 21 日 |
| 推理支持 | vLLM 0.22.1,单卡运行(张量并行设为 1) |
| 在线体验 | Hugging Face Spaces Demo |
口径说明:OmniDocBench v1.6 的 96.74 并非该榜最高分,Xiaomi-OCR-0 以 96.83 略高,OvisOCR3 官方主张的第一名次来自 MDPBench、PureDocBench 与 Real5-OmniDocBench 三个基准;关键信息抽取的 KIE Bench 与文档图表描述的 DocFigCapBench 为官方自建基准;跨页表格重建的 Reconstruction TEDS 为 89.66,仍低于 Qwen3.8-Max 的 91.71。技术报告同时披露,模型在 OCRBench v2 的英文数学计算(34.6)与中文元素解析(47.9)两个分项上仍有明显短板。
评论