2026 年 11 月 1 日——小米于 10 月 30 日晚间官宣开源 0.8B 参数轻量级文档理解模型 Xiaomi-OCR-0：单一模型同时覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务，在 Real5-OmniDocBench 基准取得 95.24 分、位列官方对比表第一；模型权重与推理代码以 Apache 2.0 许可开放，并随仓库提供 MCP 服务与 Agent Skill 技能包。
模型与基准成绩
Xiaomi-OCR-0 以 Qwen3.5-0.8B 为底座，在约 1.7 亿条 OCR 中心样本上训练。据 arXiv 技术报告（编号 2609.36136，9 月 28 日提交），训练语料由自动化数据引擎构建，结合专家共识、渲染校验与定向合成三种方式生成；训练流程为 Q-Mask 文本锚定、持续预训练（CPT）与混合任务强化学习（Mix-RL）三段递进。
| 项目 | 数据 |
|---|---|
| 参数量 | 0.8B |
| 底座模型 | Qwen3.5-0.8B |
| 训练数据 | 约 1.7 亿条 OCR 中心样本 |
| 上下文长度 | 16384（官方推理启动参数示例） |
| 任务覆盖 | 文档解析、关键信息抽取（KIE）、OCR 视觉问答（VQA） |
| 许可协议 | Apache 2.0 |
| 技术报告 | arXiv 2609.36136（2026 年 9 月 28 日提交） |
基准成绩如下（官方模型卡对比表口径，文档解析三项基准均采用两段式评测）：
| 基准 | 得分 | 排名口径 |
|---|---|---|
| Real5-OmniDocBench | 95.24 | 官方对比表第一 |
| OmniDocBench v1.6 | 96.83 | 总榜第二、1B 以下模型第一 |
| Wild-OmniDocBench | 87.94 | 官方对比表第二 |
| UniMER-Test（公式识别） | 97.84 | — |
| PubTabNet（表格识别 TEDS） | 92.27 | — |
| Chronicles-OCR Mature Scripts（隶书/草书/行书/楷书古文书） | 73 | 与 Seed 2.0 Pro 的 72 分相当 |
五项 OCR 视觉问答基准均分为 83.2，超过 2B 参数的同系底座模型 Qwen3.5-2B（80.9），五项单项为：DocVQA 93.1、ChartQA 84.6、OCRBench 84.6、TextVQA 78.6、InfoVQA 75.1。Real5-OmniDocBench 一列中，同页对比模型的成绩为 PaddleOCR-VL-1.6（0.9B）93.19、OvisOCR2（0.8B）92.29、GLM-OCR（0.9B）90.32、MinerU2.5-Pro（1.2B）88.94；OmniDocBench v1.6 一列仅 1.2B 参数的 TeleOCR（96.87）高于 Xiaomi-OCR-0。
时间线上，模型权重与技术报告已于 9 月 30 日先行放出，10 月 30 日晚间小米经官方渠道正式官宣（据凤凰网科技、智东西 10 月 31 日报道）。
Agent Skill 技能包与 MCP 服务
本次开源随仓库附带了一套可直接装进 Agent 的技能包，位于仓库 skills/xiaomi-ocr/ 目录，由安装入口技能、运行时技能与 MCP 服务端三层组成。仓库根目录另放置一份入口版 SKILL.md（技能名 xiaomi-ocr-setup），作为面向 Agent 的安装引导；skills/xiaomi-ocr/ 下的运行时技能（技能名 xiaomi-ocr）负责装好后的任务调度。
技能包构成
| 文件/目录 | 作用 |
|---|---|
| 根目录 SKILL.md（xiaomi-ocr-setup） | 安装入口技能：指导 Agent 检查本机环境、选择推理后端、执行安装并注册 MCP |
| skills/xiaomi-ocr/SKILL.md（xiaomi-ocr，约 9.9KB） | 运行时技能：任务与模式选择规则、后端选择规则、输出处理规范 |
| skills/xiaomi-ocr/install.sh（约 2.9KB） | 安装脚本：创建私有 .venv、安装 MCP 依赖、注册 MCP 服务条目 |
| skills/xiaomi-ocr/mcp_ocr_server.py（约 19.4KB） | MCP 服务端：承担任务提示词、图像/PDF 预处理、版面分割、区域裁剪、并发请求与结果组装 |
| skills/xiaomi-ocr/requirements.txt 与 scripts/ | MCP 服务依赖清单与辅助脚本 |
安装方式
官方给出的面向 Agent 的一句话安装提示是让 Agent 直接读取并执行远程 SKILL.md：
Read and execute https://raw.githubusercontent.com/SeerRay-Lab/Xiaomi-OCR-0/main/SKILL.md
标准安装通过 Skills CLI 把技能全局装入当前 Agent：
npx skills add SeerRay-Lab/Xiaomi-OCR-0 --skill xiaomi-ocr --full-depth --global --agent <当前Agent标识> --yes
针对 Codex 有专门参数 bash install.sh --agent=codex，安装脚本会把 MCP 服务条目直接写入 Codex 配置；其他 Agent 则由脚本生成 mcp-config.json，由 Agent 合并进自身 MCP 设置。技能文档明确要求保留既有 MCP 条目、不做整表覆盖。安装与运行流程如下：
四个 MCP 工具与双解析模式
技能把文档任务收敛为四个 MCP 工具：ocr_image（图片文档解析）、ocr_pdf（PDF 解析）、kie_image（关键信息抽取，可传入 fields 字段清单，返回结构化 JSON）、vqa_image（文档图问答，按简洁答案格式返回）。页面与区域预处理、结果组装都封装在 MCP 服务内部，Agent 无需自行拼接提示词或后处理脚本。
解析分两种模式：印刷体规则文档用 mode="region" 区域模式，MCP 在本地运行 PP-DocLayoutV3 版面模型，裁剪区域并发推理后按阅读顺序还原组装，表格由 OTSL 格式转为 HTML 嵌入 Markdown、公式输出 LaTeX；场景文字、手写、书法、古籍与不规则版式则用 mode="page" 整页模式，避免错误的区域切割破坏上下文。区域模式需额外安装 PaddlePaddle、PaddleX 及 PP-DocLayoutV3 权重（首次使用自动下载），显存不足时可设 XIAOMI_OCR_LAYOUT_DEVICE=cpu 改走 CPU 版面推理。
后端选择与环境变量
技能规定推理后端三选一，并在安装前把三个环境变量写入 MCP 配置：
| 后端 | XIAOMI_OCR_BACKEND | 默认地址 | 默认模型 |
|---|---|---|---|
| SGLang / vLLM | openai | http://127.0.0.1:8000/v1 | SeerRay-Lab/Xiaomi-OCR-0（上下文 16384） |
| Ollama（实验性） | ollama | http://127.0.0.1:11434/v1 | longwayxu/xiaomi-ocr-0:bf16（约 1.8GB，含视觉投影器） |
选择规则为：已有可用服务优先复用；GPU 环境优先 SGLang/vLLM 运行原版权重，精度敏感任务尤其如此；桌面环境或 macOS 等 SGLang/vLLM 不适用时采用 Ollama 社区 BF16 包，官方文档明确标注该路线为实验性、与原版输出存在公式差异。
技能还写入了多条安全与验证约束：推理服务只绑定本机回环地址、不得切换云端端点；创建环境、下载权重须先取得用户授权；MCP 上线前须以真实图片请求验证成功，否则不得宣称推理就绪；输出保留模型原文与其不确定性，不得擅自补全无法辨认的内容。
落地与生态
据凤凰网科技报道，相关技术已进入小米手机与超级小爱场景，用于取餐码、账单、卡证、日程和航班信息等屏幕内容的识别与后续操作。
生态方面，HuggingFace 仓库 xiaomi-research/Xiaomi-OCR-0 与 ModelScope 同步上架，截至 11 月 1 日 HF 下载量 16,009 次、点赞 146；GitHub 仓库同获 358 星标。官方文档与安装命令中出现的 SeerRay-Lab 组织名为仓库迁移前的旧名，访问时自动重定向至 xiaomi-research。社区已有三类转换版本：prithivMLmods 的 GGUF（BF16 至 Q6_K 多档）、xzl01 的 llama.cpp GGUF（Q4_K_M/Q8_0）与 ByronLeeee 的 NInfer BF16 包，官方声明未对这些社区转换做精度评估。仓库另附本地浏览器 Demo（8787 端口、中英双语界面），支持整页/区域解析、KIE、VQA 与 PDF 输入。
评论