2026 年 11 月 01 日——微软 Mage 团队于 10 月 30 日在 HuggingFace 开源 4B 混合计算机操作智能体 Mage-VL-Cowork:单一紧凑视觉语言策略自主判断何时像人一样点击图形界面、何时直接执行终端命令,在 OSWorld-Verified 基准取得 66.0%,高于参数量约 6.8 倍的 27B 智能体 Qwen3.6-27B 的 63.9%(人类为 72.4%),权重总体积约 9.5GB,采用 Apache-2.0 许可。
此前微软在 7 月开源的 Fara1.5-4B 属纯浏览器操作专精模型,在 OSWorld-Verified 全桌面评测中仅得 13.9%;Mage-VL-Cowork 是该团队在 4B 规模上同时覆盖桌面 GUI、浏览器与终端的新一代模型。据模型卡数据,截至 11 月 1 日该模型已获得 61 个点赞、233 次下载;承载其代码与评测复现套件的 GitHub 仓库 microsoft/Mage 现有 1725 个星标。
单模型双通道,无外部编排器
Mage-VL-Cowork 基于自研 Mage-ViT 视觉编码器与 Qwen3-4B(Instruct-2507)文本基座,采用自定义 llava_onevision2 架构,4B 参数权重以 bfloat16 精度分两个 safetensors 分片存放,总体积 9.50GB;训练与推理上下文窗口为 32768 tokens,架构上限 262144。官方称该模型将两类动作通道内化进同一个策略,无需外部多智能体路由:
| 通道 | 工具 | 用途 |
|---|---|---|
| computer_use | 点击、拖拽、输入、滚动等 11 种 GUI 原语(坐标归一化到 0-999) | 视觉布局、画布编辑、应用内实时状态 |
| bash | 持久 Shell 与 Python 环境 | 表格、文档、演示文稿等结构化文件操作及确定性验证 |
每一步输出由 <think> 推理、Action: 一句话摘要与 <tool_call> 调用三部分组成,GUI 调用返回截图、终端调用返回文本输出;工作记忆采用非对称滑窗,保留最近 3 张截图与 4 条完整回复,更早的轮次折叠为单行动作摘要。官方技术报告显示,在线强化学习在将任务成功率较混合 SFT 阶段提升 10.16 个百分点的同时,把平均模型调用次数从 21.57 降到 18.77(-13.0%)、每任务输出 token 从 7374 降到 5499(-25.4%),输出量比 GPT-5.4-mini 参考配置少 55.6%。
OSWorld-Verified 成绩:4B 档居首,胜过 27B
评测协议为 361 个任务(排除 Google Drive 子集)、50 步预算、1920×1080 分辨率,66.0% 为两次全量评测(65.33% 与 66.75%)的平均值。据官方模型卡,主要成绩如下:
| 模型 | 参数量 | OSWorld-Verified |
|---|---|---|
| 人类参考 | — | 72.4 |
| GPT-5.5 | — | 78.7 |
| Claude Opus 4.7 | — | 78.0 |
| GPT-5.4-mini | — | 69.6 |
| ScaleCUA-Qwen3.5-9B | 9B | 68.7 |
| Mage-VL-Cowork(官方成绩) | 4B | 66.0 |
| Muse Glimmer-30B | 30B | 65.9 |
| Qwen3.6-27B(GUI-only) | 27B | 63.9 |
| EvoCUA-32B | 32B | 56.7 |
| OpenCUA-72B | 72B | 44.9 |
| Fara1.5-4B | 4B | 13.9 |
分类别看,Mage-VL-Cowork 在操作系统任务得 87.5%、多应用工作流 62.7%、专业任务 66.3%、日常任务 65.0%、办公任务 64.9%,均为官方在 50 步预算下的自评口径。官方演示视频还给出了与 Qwen3.6-27B 的同任务对比:一项 LibreOffice Calc 合并单元格加图表任务,Mage-VL-Cowork 走终端通道用 Python 直接改写工作簿,39 秒 6 步完成,Qwen3.6-27B 逐格点击用时 9 分 56 秒 39 步,官方称快 15.3 倍。
五阶段训练:先分科再合流
训练从 Mage-VL 中间检查点起步,走「先专精后统一」五阶段课程:GUI 导向中期训练、GUI 智能体 SFT、编程与终端 SFT、混合 CUA SFT、在线混合强化学习(异步 GRPO),OSWorld-Verified 成绩沿 45.56% → 55.84% → 66.0% 递进,五阶段共消耗 7.79 ZFLOPs 名义算力(32 张 NVIDIA B200 加 1120 个 CPU 沙箱槽位)。数据侧,Mage-CUA-Forge 合成引擎以「一次为每个原子技能编写可复用工作流」替代逐任务智能体生成,产出 293806 个任务(38.24% 跨多应用)、6915 个原子技能,保留 318837 条混合轨迹(68.19% GUI 调用、31.81% 终端调用),把每任务生成成本从 0.906 美元降到 0.158 美元(-82.6%)。官方还强调先对教师脚手架做进化剪枝:GPT-5.4 教师在精简通道后成功率升至 92.0%、步数减少 29.2%,对应 4B 学生成绩提升 12.5 个百分点。
部署与许可
模型与评测代码均开放:权重与 MAGEHybridAgent 评测套件在 HuggingFace 仓库内,OSWorld-Verified 复现指引与 SGLang 0.5.2 推理容器(docker.io/xiaoyizhang/mage-vl-cowork:0.1.0)随模型卡发布,transformers 加载需 4.57.3 以上版本并开启 trust_remote_code;推荐采样参数为 temperature 0.7、top_p 0.8、max_new_tokens 4096。模型代码仓库采用 MIT 许可,模型权重采用 Apache-2.0 许可。官方同时要求将智能体运行在隔离沙箱(容器或快照虚拟机)内,执行不可逆操作前须人工确认,并对不可信网页内容做出站网络白名单限制。
口径说明:上表分数均为官方模型卡口径,其中 ScaleCUA-Qwen3.5-9B 为 9B 参数量、68.7%,高于本模型,Mage-VL-Cowork 的「66.0%」限定在 4B 参数档内居首;Qwen3.6-27B 的 63.9% 为 GUI-only 模式成绩。「模型可在 Mac mini 上运行」系简报来源说法,官方模型卡与项目页未直接提及,仅强调其推进端侧智能(on-device intelligence)的定位;按 bfloat16 权重 9.50GB 的体积推算该说法可行,截至发稿未获官方确认。
评论