2026 年 10 月 21 日——阿里通义 MAI-UI 团队于 10 月 15 日在 arXiv 提交技术报告《OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use》（arXiv:2610.22200），并以 Apache-2.0 协议在 GitHub 公开项目 Tongyi-MAI/OpenGCUA。仓库将 2026 年 10 月的这一版标为研究预览。报告在 OSWorld-v2 的 82 题离线子集上评测八个前沿模型：相对支持批量动作的纯 GUI 基线，平均部分分从 45.3 升至 64.9，提高 19.6 分，每任务步数平均减少 53.0%。本版不发布新训练的模型。

OpenGCUA 把通用计算机使用智能体（Generalist Computer-Use Agent，GCUA）定义成每一步由模型决定三件事的系统：观察什么、如何行动、如何组织任务。团队在报告中把前作 Qwen-UI-Agent 列为 GUI 与命令行混合的特例：那条路线仍由外部 harness 规定每步截图，模型只在图形界面和 shell 之间选择动作。OpenGCUA 把观察时机和任务状态跟踪交回模型，并允许模型把鼠标键盘、无障碍树、应用 API 与命令行写进同一段带循环和条件判断的程序。

这一版开放的内容

研究预览列出四项已公开内容。报告写明，真实设备 harness 与跨设备 SDK 均为初步实现。

组件 本版状态 说明
OSWorld 集成示例 已公开 含截图动作与代码动作两套参考 agent，以及八个模型的评测轨迹
macOS 真机 harness 初步开源 菜单栏应用，可在用户自己的 Mac 上运行；源码路径要求 macOS 14+、Python 3.11–3.14
跨设备 SDK 初步开源 Python 包 qwen-intelligence-sdk，导入名为 qwen_intelligence；适配 macOS、Android、浏览器与 Linux，核心为 Rust，macOS 驱动使用 trycua 的 CuaDriver
原生 macOS 应用 本地开发构建 SwiftUI 与 AppKit，打包 Python、SDK 与已签名 CuaDriver；面向 Apple 芯片与 macOS 14+，公开分发前的校验尚未完成

运行配置支持三类模型接口：OpenAI 兼容的 Chat Completions、可回放加密推理的 openai-thinking，以及 Anthropic Messages。仓库默认示例指向阿里云百炼兼容端点上的 qwen3.8-flash。官方演示在同一台 Mac 的签证表单任务上，把 OpenGCUA、偏好 GUI 的 OpenGCUA、GUI 批量动作和 Codex 放在一起对照。论文把 Codex 与 Claude Code 的计算机使用实现列为仍未公开权重、完整提示、真机 harness 与执行轨迹的前沿系统。

后续计划写在仓库 ROADMAP.md 中，官方表示不承诺日期。下一批目标包括同时覆盖计算机使用与浏览器使用的 GCUA 模型、执行效率，以及以 macOS 为先的真机评测环境。

模型每一步做的三个决定

报告用同一组决定比较几类智能体。GUI 智能体把三项都写成固定规则；OpenGCUA 把三项都交给模型。

决定 GUI 智能体 OpenGCUA
观察什么 每执行一步就截一张图 模型需要时才调用 screenshot()
如何行动 一次点击或一次按键 一段程序，可混合无障碍树、应用 API、命令行与 GUI，并包含循环、分支和校验
如何组织任务 由 harness 规定，例如只保留最近若干张截图 模型维护待办列表，并在每段程序执行前声明意图

官方仓库用 OSWorld-v2 上 GPT-6 Astra 的一步 CRM 任务说明这种写法：模型先声明要改 29 条线索状态，再写脚本核对工作区是否与上次观察一致；若已变化则停止，否则通过应用自己的 API 逐条修改并断言结果，全部通过后才把该步标为已核验。

论文在同一模型的轨迹中归纳出五种反复出现的代码执行模式，其中包括跨界面组合（一次程序里交替做 GUI 操作和程序化检查）、按循环重复处理多个目标，以及先把多张画面拼成核对图再请求截图。在 GUI 与 shell 权限相同的条件下，把操作写成代码相对 GUI+CLI 基线，平均部分分再高 6.1 分，步数再少 14.8%。

按需截图还改变了缓存命中。论文给出的选定运行中，仅打开按需观察后，Qwen3.8-Max 的缓存命中率从 75.6% 升至 86.1%，DeepSeek-V4.1-Flash 从 61.9% 升至 76.3%，两部分分都没有下降。

OSWorld-v2：八个模型全部提高

评测遵循 GPT-6 Astra 发布时使用的协议，取 OSWorld-v2（v2.1）的离线子集，共 82 个任务，剔除 26 个必须访问外部网站的题目，保留本地网页应用和桌面任务。对照基线是已开启批量动作的纯 GUI 配置。部分分衡量部分完成，成功率衡量整题完成。下表数据来自论文表 2，输出以千 token 计。

模型 部分分 成功率 步数/任务 输出千 token/任务
Claude Opus 5 60.7 → 70.1（+9.4） 29.3 → 36.6 103.1 → 61.4（−40.4%） 378.3 → 89.3
GPT-6 Astra 67.1 → 75.7（+8.7） 36.6 → 46.3 102.1 → 33.5（−67.2%） 30.8 → 31.9
Gemini 3.8 Flash 50.1 → 67.0（+16.9） 22.0 → 31.7 166.8 → 101.2（−39.3%） 80.3 → 82.0
Qwen3.8-Max 46.9 → 64.0（+17.1） 17.1 → 28.9 127.7 → 57.0（−55.4%） 122.3 → 99.5
Qwen3.8-Flash 38.9 → 60.5（+21.6） 14.2 → 27.6 232.0 → 86.2（−62.8%） 189.8 → 159.6
Kimi K3 40.7 → 59.2（+18.5） 15.9 → 22.0 160.1 → 81.9（−48.8%） 302.5 → 139.6
DeepSeek-V4.1-Flash 28.0 → 57.7（+29.8） 8.5 → 26.8 167.3 → 84.9（−49.3%） 316.0 → 180.4
GLM-5.3-Flash 29.6 → 64.9（+35.2） 14.6 → 29.3 190.8 → 75.5（−60.4%） 155.7 → 131.0

八个模型的部分分和完整成功率都上升，步数都下降。涨幅最大的是 GLM-5.3-Flash（+35.2）和 DeepSeek-V4.1-Flash（+29.8）。官方仓库据此计算，最高分与最低分的差距从 39.1 分收到 18.0 分：基线两端是 GPT-6 Astra 的 67.1 和 DeepSeek-V4.1-Flash 的 28.0，OpenGCUA 配置下两端是 75.7 和 57.7。

步数下降不等于输出 token 同步下降。六个模型的每任务输出 token 减少，论文给出的平均相对降幅为 27.2%；GPT-6 Astra 从 30.8 千 token 到 31.9 千 token，Gemini 3.8 Flash 从 80.3 千 token 到 82.0 千 token。论文写明，端到端延迟还需单独计入模型响应时间和工具执行时间。

真机 macOS：推理 token 差 19.4 倍

真机基准仍在建设中。论文在四个 macOS 任务上比较模型：表格推理、申根签证 PDF 填表、带饮食限制的购物调研、巴黎两家酒店比价。每模型最多记录三次运行。表 5 取每个任务的第 1 次选定运行，费用是四题平均，未完成的任务也计入步数和 token。美元成本按记录到的用量、缓存命中和公开 API 价格估算。DeepSeek 缺少酒店任务轨迹，未进入这张汇总。

模型 步数/任务 输出千 token/任务 估算美元/任务 完成题数
GPT-6 Astra 34.5 12.9 18.29 4/4
Claude Opus 5 52.3 42.3 17.12 3/4
Gemini 3.8 Flash 36.0 31.9 0.66 2/4
Qwen3.8-Max 50.8 73.4 1.49 3/4
Qwen3.8-Flash 67.3 75.7 0.12 2/4

在这组选定运行里，Qwen3.8-Max 平均每任务 50.8 步、73.4 千输出 token，其中推理 token 约 50.2 千；GPT-6 Astra 为 34.5 步、12.9 千输出 token，推理 token 约 2.6 千。推理 token 约为 19.4 倍，总输出 token 约为 5.7 倍，步数约为 1.5 倍，完成题数是 3/4 对 4/4。按论文采用的归档价格，单任务费用方向相反：Qwen3.8-Max 约 1.49 美元，GPT-6 Astra 约 18.29 美元。论文把差距归因于模型行为，包括简单操作上的推理开销、对真机条件的适应，以及代码执行能力，并写明下一版要做的是 GCUA 模型本身。

上述分数来自作者自建 harness 上的评测，论文尚未经过同行评审。OSWorld-v2 数字对应 82 题离线子集，不含 26 个必须联网的任务。真机表只覆盖四个任务、每模型一条选定运行；论文写明，这一样本描述的是被评配置，不能支持模型优劣的一般排序。真机 harness 与跨设备 SDK 均标注为初步版本。