本教程面向需要评估 Agent 产品中模型表现的开发者与评测人员,以阿里 Qoder 国际版匿名模型 Qoduck 为被测对象,以 Qoder 桌面端为统一 Agent 工具,给出一套可复现的五个门类的评测方法。内容覆盖 100 题标准集(80 核心 + 20 压力)与 20 题校准集的设计分工、EoBench 评测台、视觉、手写识别、写作、编程与 3D(Blender 与 Three.js)的实测数据,以及 CER、pass@1 与写作客观分的计算口径。校准集由 QoDuck 与 GLM-5.3-Flash 两个模型完成。
前置教程
如想快速开始学习本教程,你可能需要先完成以下前置教程:
- Blender MCP安装配置与AI建模实战教程,本教程 3D 门类使用 Blender 5.2.1 与无头脚本渲染,Blender 的安装与 Python API 基础可参考该教程。
- Python+FastAPI在Windows环境下创建一个基础后端服务教程,编程门类的后端题基于 FastAPI 与 SQLite。
- OpenAI兼容API的概念与用法详解,用于理解 API 调用与 Agent 产品端到端评测的边界。
资源下载
- Qoder 客户端下载,本教程使用的 Agent 工具。
- EoBench 示例代码与评测台,包含配图、20 题校准任务、隐藏测试、评测台与依赖清单。
- EoBench 模型输出结果数据集,包含 40 条最终结果、报告、逐题表与编程/3D 最终工作区。
1. Qoduck 与评测边界
1.1 Qoduck 是什么
2026 年 11 月 7 日,Qoder 上线匿名模型 Qoduck。官方将其定义为 stealth model,模型身份、上下文窗口与权重均未公开;Qoduck 只在 Qoder CN 与国际版桌面端提供,Qoder IDE、JetBrains 插件和 Qoder CLI 暂不支持。
| 项目 | 说明 |
|---|---|
| 模型类型 | 匿名模型(stealth model) |
| 思考强度 | 支持标准至极高,本教程固定为「极高」 |
| 可用产品 | Qoder 桌面端 CN 版与国际版 |
| 模型身份 | 官方未公布 |
本次评测使用 Qoder 国际版桌面端 0.5.6,在模型选择器中选择 Qoduck,思考强度保持「极高」。截图展示了模型列表中的 Qoduck 条目。

Qoduck 的模型身份、上下文窗口与权重均未公开,评测只能从产品行为反推能力,本教程的结论限定在 Qoder 桌面端的使用场景。
1.2 端到端评测与裸模型评测
Qoduck 没有公开 API,所有调用发生在 Qoder 桌面端内部。用户提示词先经过 Qoder 的系统提示、上下文装配、工具编排和访问权限控制,模型输出还要经过 Hook、消息渲染与状态收尾。评测台从窗口像素和剪贴板取数,拿不到模型内部的 token 级时间线。
评测得到的任务完成时间包含产品层开销,评测以获取「在 Qoder 里用 Qoduck 完成任务的实际体验」为目标。
本教程报告的完成时间均为 Qoder 端到端口径,不能直接与裸模型 API 的指标比较。
1.3 五个门类的指标
| 门类 | 任务形态 | 核心指标 | 评分口径 | 评测状态 |
|---|---|---|---|---|
| 视觉 | 图表、界面截图、文档图、双图对比 | 答案准确率、指令遵循 | 逐题精确匹配或部分给分 | 4 题两模型已完成 |
| 手写识别 | 中文书法、硬笔便笺、英文连笔 | 字符错误率 CER | CER 阈值与通过判定 | 4 题两模型已完成 |
| 写作 | 解释、改写、长文创作、多源分析 | 事实覆盖、约束遵守、长度与禁用词 | 客观分加人工复核 | 4 题两模型已完成 |
| 编程 | 后端、前端、全栈、缺陷修复 | 隐藏测试 pass@1、部分通过率、耗时 | 全部测试通过记 1 | 4 题两模型已完成 |
| 3D | Blender 建模、Three.js 纯代码 | 可执行性、几何约束、渲染、交互 | 分项加权 | 4 题两模型已完成 |
1.4 评测原则
- 每题新建独立任务,使用全新会话;参考答案、隐藏测试与任务元数据移出仓库,工作区使用临时副本,避免串题与答案泄漏。
- 同一模型的所有任务固定 Qoder 版本、账号环境、网络环境和时段,记录高峰排队情况。
- 编程题的隐藏测试在模型完成后注入,题目工作区只包含规格与起始代码。
- 评测按固定时段分批执行,记录高峰排队、Qoder 版本与账号环境,减少环境波动对完成时间的影响。
校准集每题只跑一次,pass@1 是单次尝试的结果;标准集需要对编程/3D 子集重复采样,才能估计通过率与时间的波动范围。
2. 基准设计:100 题标准集与 20 题校准集
2.1 标准集与校准集的分工
标准集规划 100 题,覆盖视觉、手写识别、写作、编程与 3D 五个门类,用于按门类排名、总分汇总和跨模型复现。校准集抽取 20 题,每门类 4 题,覆盖 L1、L2、L3 三档难度,目标是验证驱动链路、像素阈值、隐藏测试注入、模型选择与执行节奏,并为标准集提供参数。
| 维度 | 100 题标准集 | 20 题校准集 |
|---|---|---|
| 定位 | 正式评测与跨模型排名 | 链路验证、阈值校准与两模型对比 |
| 题量 | 100(80 核心 + 20 压力) | 20(每门类 4 题) |
| 重复采样 | 编程/3D 全量 1 次 + 25% 子集 3 次 | 每题 1 次 |
| 写作评分 | 事实覆盖与约束遵守的客观指标 | 同左 |
| 评分输出 | 各门类分数与加权总分 | 各门类分数与问题清单 |
| 执行状态 | 规划中 | QoDuck 与 GLM-5.3-Flash 已完成 |
校准集按门类区分:视觉、手写识别、写作、编程与 3D 各 4 题;QoDuck 为主模型,GLM-5.3-Flash 为对照模型。标准集沿用同一套题目结构与评分接口,扩大样本并增加重复采样。逐题清单与两模型成绩见 8.1。
2.2 题目包结构
EoBench 评测台按以下结构组织,标准集沿用同一结构,题目数量扩展,评分接口保持不变。
| 路径 | 作用 | 模型可见性 |
|---|---|---|
tasks/ |
题目规格、工作区模板、参考答案与评分脚本 | 只把规格与起始代码复制进工作区 |
hidden_tests/ |
隐藏测试,模型不可见 | 模型完成后注入 |
harness/ |
坐标驱动、执行入口、评分与汇总脚本 | 评测方使用 |
results/ |
截图、响应、评分原始记录 | 评测方使用 |
workspaces/ |
每题独立工作区 | 模型只在该目录内读写 |
编程题的工作区只放规格与起始代码,隐藏测试、参考答案和评分脚本放在仓库外。模型完成后由 score_code.py 注入隐藏测试并运行 pytest;视觉、手写识别与写作题只把图片或提示词送入会话,不指定工作区。
2.3 执行流水线
评测台的核心入口是 run_task_v2.py(单题执行、工作区或题目文件准备、计时与评分)和 run_calibration.py(按清单批量执行);qoder_coord.py 负责 UIA 新建任务与选模、粘贴、像素判定、截图与剪贴板取全文;各题评分由题目自带的 score.py 或 validate.py 完成,rescore.py 用于对已保存工作区重新评分。
2.4 评分流水线
| 门类 | 评分器 | 输入 | 输出 |
|---|---|---|---|
| 视觉 | 题目 score.py |
响应文本与参考 JSON | 逐题字段得分与 pass |
| 手写识别 | 题目 score.py |
响应文本与参考文本 | 整体 CER(中文题按整段拼接)、异体字归一与 pass |
| 写作 | 题目 score.py |
响应文本与参考事实 | 事实覆盖、约束遵守与 C/I |
| 编程 | pytest 隐藏测试 | 工作区与隐藏测试 | passed/failed、pass_rate、pass@1 |
| 3D | validate.py |
工作区 | 分项检查与加权分数 |
每个门类使用独立评分器,原始指标与归一化分数分开保存。校准集输出各门类的归一化分与加权总分;标准集阶段再增加重复采样、置信区间与跨模型对照。
3. 评测环境与评测台
3.1 Qoder 与 Qoduck 选择
Qoder 客户端可通过 Qoder 官网 下载,安装后登录个人账号。主模型 Qoduck 的思考强度保持「极高」;对照模型 GLM-5.3-Flash 的思考强度设为「最大」。
评测使用 Qoder 的「编程」任务模式运行编程与 3D 任务,使用 Qoder 的「通用」任务模式运行视觉、手写识别与写作任务。「编程」与「通用」是 Qoder 的任务组织方式,不是被测模型的能力模式;被测对象始终是模型本身,Qoder 只提供统一的 Agent 外壳。编程任务模式提供工作区、执行模式与分支管理;视觉、手写识别与写作任务在通用任务模式下运行,提示词中不指定工作区。
3.2 隔离工作区
编程与 3D 任务在系统临时目录的独立副本中完成,路径形如 %TEMP%/eobench_ws_<随机串>/<task_id>;题目规格与起始代码由评测台复制进去,运行结束后工作区保存到结果目录。隐藏测试、参考答案与任务元数据放在仓库外,模型运行期间不可见;视觉与手写识别图片用题目内的绝对路径传入,避免当前版本把大段粘贴转成独立消息。写作任务不指定工作区。
每次运行前确认工作区为干净副本,模型只允许在该目录内创建和修改文件。评测结束后用模型按钮截图审计每题实际选中的模型,防止选模漂移。
3.3 UIA 选模与完成判定
新任务与模型选择走 UI Automation:按控件名点击「新的任务」,点击「模型」按钮,在弹出的菜单中按名称点选目标模型,再校验模型按钮文本包含目标模型名;发送后检查「思考中」「正在执行」或「停止」状态,确认任务真的开始。完成判定按像素与剪贴板:发送后取基线,按固定间隔截屏并比较答案区域与基线的像素差,确认答案开始渲染;再用模板匹配定位「复制 Markdown」按钮,从剪贴板读取完整回复;编程与 3D 题在复制按钮长期不出现时,以工作区最后一次文件写入后 60 秒静默作为完成信号。视觉、手写识别与写作题按 0.2 秒间隔截屏,编程与 3D 题按 0.5 秒间隔。
答案区域按窗口比例裁剪,纵向 0.18 至 0.85、横向 0.23 至 0.80;窗口尺寸变化时无需改常量。像素差超过 18 的像素数大于 1,200 时认为答案已开始渲染;编程与 3D 题的阈值提高到 1,500。复制按钮每 0.5 秒做一次模板匹配,相似度阈值 0.9;编程与 3D 题在复制按钮长期不出现时,以工作区最后一次文件写入后 60 秒静默作为完成信号,再运行隐藏测试或验证器。
diff = cv2.absdiff(crop, baseline_crop)
changed = int((diff > 18).sum())
if changed > 1200:
mark_answer_rendered()
完整实现见 eobench/harness/qoder_coord.py。截图在发送前、答案开始渲染和完成时保存,作为完成判定的证据。基线在发送后 2 秒采集,避开用户气泡与输入框收起的渲染变化。
3.4 合规与复现
评测只使用官方 Qoder 客户端与个人账号,不逆向私有接口、不共享账号、不转接服务。校准集按固定时段分批执行,QoDuck 与 GLM-5.3-Flash 各跑一次,记录 Qoder 版本、账号环境、网络环境与高峰排队;高峰时段的排队会拉长完成时间,运行时记录时段。
4. 视觉与手写识别实测
4.1 视觉四题
视觉题覆盖柱状图读数、表单报错定位、合并单元格表格抽取与截断纵轴双图对比。四题都要求只输出单个 JSON 对象、不使用代码块、不调用工具;评分器按字段精确匹配或部分给分。模型需要完成的任务如下。




- vision-01 柱状图三问:从仓储运营柱状图中找出退货处理量最高的仓储中心,给出该中心的处理量与五个中心的处理量总和。
- vision-02 表单报错定位:在「新建项目」对话框截图中找出带红色边框和内联错误提示的字段,逐字抄写顶部提示条,判断「创建项目」按钮当前是否可点击,并给出该按钮在图中的归一化外框。
- vision-03 合并单元格表格抽取:还原设备巡检汇总表,数据行按从上到下输出、合并班组向下补齐,合计值直接取图片合计行,统计不同班组个数,并抄写标题与表单编号。
- vision-04 截断纵轴双图对比:判断哪张图会在视觉上支持「甲仓准点率接近乙仓两倍」的错误印象,计算 10 月两仓差值与两仓六个月均值之差,并列出两仓同时上涨的月份。
| 题目 | QoDuck 得分 / T | GLM-5.3-Flash 得分 / T | 说明 |
|---|---|---|---|
| vision-01 柱状图三问 | 100 / 1.00 | 100 / 1.00 | 两模型三字段全对 |
| vision-02 表单报错定位 | 82.5 / 0.00 | 89.65 / 0.715 | QoDuck 完成 68.57 秒,超过 60 秒预算 |
| vision-03 合并单元格表格 | 89.25 / 0.675 | 92.5 / 1.00 | 两模型内容正确,时间分不同 |
| vision-04 截断纵轴双图 | 92.5 / 1.00 | 92.5 / 1.00 | 两模型均通过 |
4.2 手写四题
手写题使用真实照片:三件中文手写(双诗整页、硬笔便笺、寒食帖)与一封英文连笔信。第一件是双诗整页,右侧正写毛泽东《卜算子·咏梅》44 字,左侧倒写王勃《送杜少府之任蜀州》40 字,要求两侧都转写,左侧先旋转 180°;第二件是硬笔便笺三行 29 字;第三件是苏轼《黄州寒食帖》卷首 30 字;第四件是英文连笔信 11 行。中文题按实际行序转写,英文题按行转写。四题都把内容识别与完成时间分开计分。

| 题目 | 预算 | QoDuck 得分 / CER / 用时 | GLM-5.3-Flash 得分 / CER / 用时 |
|---|---|---|---|
| hand-01 双诗整页(84 字) | 180 秒 | 100 / 0.0000 / 88.3 秒 | 90.00 / 0.0000 / 372.5 秒 |
| hand-02 硬笔便笺(29 字) | 120 秒 | 63.22 / 0.2069 / 43.7 秒 | 0.00 / — / 720 秒无响应 |
| hand-03 黄州寒食帖卷首(30 字) | 150 秒 | 90.30 / 0.0000 / 147.8 秒 | 90.00 / 0.0000 / 318.9 秒 |
| hand-04 英文连笔信(11 行) | 180 秒 | 81.82 / 0.0519 / 129.0 秒 | 62.32 / 0.1038 / 273.3 秒 |
- hand-01 双诗整页:两模型都全对,QoDuck 88.3 秒、GLM-5.3-Flash 372.5 秒;两者都读出左侧倒写的《送杜少府之任蜀州》,说明模型会先在心中把倒置文字旋转 180°。
- hand-02 硬笔便笺:QoDuck 43.7 秒完成,文字内容全对,但把第一行末尾的「和惆怅」挪到了第二行,按逐行 CER 记 0.2069;GLM-5.3-Flash 在 720 秒等待窗口内没有返回答案,按超时记 0,这反映该题上的端到端时延,不足以判断其识别上限。
- hand-03 寒食帖卷首:两模型都 0 CER,GLM-5.3-Flash 用了 318.9 秒、超过 150 秒预算。
- hand-04 英文连笔信:两模型都把签名读成 Jeni,QoDuck 的字符错误率 0.0519,低于 GLM-5.3-Flash 的 0.1038。
比对口径:中文题在比对前去掉标点,并把繁体/异体字归一(風→风、與→与、無→无等),避免排版差异盖过识别结果;四题参考文本与完整响应见各题 result.json。
4.3 小结
视觉门类 QoDuck 90.53、GLM-5.3-Flash 93.13,差异主要来自 vision-02 的时间分与 vision-03 的完成时间;手写识别 QoDuck 85.05、GLM-5.3-Flash 64.14,双诗整页两模型都全对,分差来自硬笔便笺的行归属与 GLM 的未响应、以及英文连笔信的字符错误。视觉与手写识别都只接受题目给出的图片路径,不允许模型读取其他文件。
5. 编程实测
5.1 四题设计
编程题覆盖后端 CRUD、后端幂等与结构迁移、原生前端可访问性看板、全栈 Snippet Vault。后端题用 pytest 验证,前端与全栈题用 pytest 加 Playwright 在 Chrome 中验证;隐藏测试放在仓库外,模型完成后才运行。评分以通过率 C 为主,同时计入完成时间 T、接口约束 I 与错误处理 E。
code-be-02 在 CRUD 之外加了两项后端工程能力:幂等与结构迁移。幂等指同一个创建请求被重复提交时,服务端只落一单、只扣一次库存:客户端为每次创建生成 Idempotency-Key,重试沿用同一个键,服务端凭键返回首次结果;同键不同请求体必须拒绝,创建失败不占用键,多线程并发使用同一个键也只能产生一条订单。结构迁移指已上线的 v1 库在原地升级到 v2:新增 orders.status 与成交单价、按商品现价回填历史订单、建立 meta 与 idempotency 表,并要求迁移可重复执行、旧订单行原样保留。题目还要求校验库存、扣减库存、写入订单与写入幂等记录在同一事务内完成,取消订单的状态变更与库存回补同理;13 项隐藏测试覆盖 v1 旧库迁移、同键重放、六线程并发提交、失败请求后的键复用与分页回归。
5.2 实测结果
| 题目 | 隐藏测试 | QoDuck 通过 / 得分 | GLM-5.3-Flash 通过 / 得分 | 说明 |
|---|---|---|---|---|
| code-be-01 条目看板 CRUD | 16 | 16/16,84.94 | 16/16,80.00 | 两模型功能全过,时间分不同 |
| code-be-02 幂等与结构迁移 | 13 | 13/13,98.70 | 3/13,43.01 | GLM 未完成幂等与迁移约束 |
| code-fe-01 巡检看板前端 | 14 | 10/14,71.14 | 0/14,0.00 | GLM 超时,停在起始壳;QoDuck 刷新持久化与三档布局 4 项断言未过 |
| code-fs-01 Snippet Vault 全栈 | 22 | 22/22,97.34 | 1/22,22.73 | QoDuck 全部契约通过;GLM 登录页仍是占位 |
全栈题的上传测试依赖 python-multipart,评测环境已安装该依赖;前端与全栈题使用最终工作区的隐藏测试结果:QoDuck 全栈 22/22、前端 10/14。

QoDuck 的前端页面可新增三档严重程度记录并按严重程度筛选,但记录在刷新后未保留,375、768、1440 三档响应式布局也未通过;GLM-5.3-Flash 在预算内只交出起始壳,表单与列表仍是占位。

QoDuck 的全栈页面能登录、上传两份文本并列出条目,隐藏测试 22 项全部通过;GLM-5.3-Flash 的页面停在“Login form goes here”,只有 1 项无需服务端的用例通过。
5.3 小结
- QoDuck:四题都拿到高分,后端 CRUD 16/16、幂等与迁移 13/13、前端 10/14、全栈 22/22。
- GLM-5.3-Flash:后端 CRUD 满分 16/16,但幂等与迁移只有 3/13,前端与全栈停在起始壳。
- 编程门类:QoDuck 88.92、GLM-5.3-Flash 32.34。
6. 写作实测
6.1 四题与客观评分
写作题覆盖 CDN 科普、版本日志改写、文件协作迁移说明与客服知识库多来源分析。评分拆成两个客观部分:事实覆盖 C 取事实要点满足比例,约束遵守 I 取长度、禁用词、结构、引用等检查通过率;再按写作权重与时间分合成任务分。评分不使用主观量规,C 与 I 都可以从评分器输出逐项复核。
6.2 实测结果
| 题目 | QoDuck C / I / 得分 | GLM-5.3-Flash C / I / 得分 | 说明 |
|---|---|---|---|
| write-01 向非技术读者解释 CDN | 0.75 / 1.00 / 82.5 | 0.25 / 1.00 / 47.5 | GLM 事实覆盖不足 |
| write-02 版本日志改写 | 1.00 / 1.00 / 100 | 1.00 / 1.00 / 100 | 两模型均满足 |
| write-03 文件协作迁移说明 | 0.833 / 1.00 / 83.13 | 1.00 / 1.00 / 92.82 | 两模型事实完整,时间分不同 |
| write-04 客服知识库多来源分析 | 1.00 / 1.00 / 90.00 | 0 / 0 / 0 | GLM 超时 |
6.3 小结
写作门类 QoDuck 89.44、GLM-5.3-Flash 56.69。QoDuck 在事实覆盖上更稳定,GLM 在 write-01 漏掉关键事实、write-04 超时;write-02 两模型都是满分。
7. 3D 建模实测
7.1 两条路线与四道题
3D 门类分 Blender 与 Three.js 两条路线,校准集共四题。Blender 路线要求模型在工作区写 build.py,由 Blender 5.2 无头执行,生成 .blend 与 800x600 的 render.png;Three.js 路线要求模型写本地单页,使用随包分发的 Three.js r128,生成可交互场景。
| 题目 | 路线 | 难度 | 交付物 |
|---|---|---|---|
| 程序化低多边形台灯(3d-bl-01) | Blender | L1 | build.py、desk_lamp.blend、render.png |
| 程序化产品场景与三视角渲染(3d-bl-02) | Blender | L3 | build.py、场景 .blend、三视角渲染 |
| Three.js 交互式音箱产品展示(3d-tj-01) | Three.js | L2 | index.html、styles.css、main.js、vendor/ |
| Three.js 程序化太阳系动画(3d-tj-02) | Three.js | L3 | index.html、styles.css、main.js、vendor/ |
Blender 题的核心约束是对象命名、尺寸、三角面预算、材质、相机与布光、渲染非空;Three.js 题的核心约束是网格与命名部件、层级关系、动画与帧循环、OrbitControls、响应式画布、渲染预算、控制台无错误与零外部请求。四题的超时均为 1,200 秒。
7.2 评分口径
Blender 验证器把构建、对象、尺寸、三角面、材质、相机与灯光、渲染等检查项按权重相加;Three.js 验证器把页面加载与 window.__app 就绪、画布非空、网格数量、命名部件与层级、动画、帧循环、控制器、拖拽、响应式、渲染预算、控制台与外部请求等检查项按权重相加。两套验证器都先在干净副本中运行参考解,参考解失败时把本次结果标记为 infra_error,候选不得分。
太阳系题的 13 项检查与权重如下,其余题目的检查项以各自的 validate.py 为准:
| 检查项 | 权重 |
|---|---|
页面加载与 window.__app 就绪 |
0.10 |
| 画布非空 | 0.08 |
| 网格数量 | 0.07 |
| 命名天体 | 0.07 |
| Earth-Moon 层级 | 0.08 |
| 行星动画 | 0.09 |
| 帧循环 | 0.08 |
| OrbitControls | 0.08 |
| 轨道拖拽 | 0.07 |
| 响应式缩放 | 0.08 |
| 渲染预算 | 0.08 |
| 控制台清洁 | 0.06 |
| 无外部网络 | 0.06 |
| 合计 | 1.00 |
时间口径:工作区最后一次文件写入后 60 秒静默作为完成信号;聊天区出现复制按钮时优先采用复制按钮时刻;超过预算记 T=0。
7.3 实测结果
| 3D 题 | 路线 / 难度 | QoDuck | GLM-5.3-Flash | 说明 |
|---|---|---|---|---|
| 程序化低多边形台灯(3d-bl-01) | blender / L1 | 95.3 | 88.92 | |
| 程序化产品场景与三视角渲染(3d-bl-02) | blender / L3 | 96.76 | 98.94 | |
| Three.js 交互式音箱产品展示(3d-tj-01) | threejs / L2 | 80.0 | 100.0 | QoDuck 约 24 分 38 秒完成,超 900 秒预算,质量 10/10 |
| Three.js 程序化太阳系动画(3d-tj-02) | threejs / L3 | 80.0 | 100.0 | QoDuck 约 35 分钟完成,超 1200 秒预算,质量 13/13 |
Blender 两题两模型均通过全部检查:QoDuck 95.30 与 96.76,GLM-5.3-Flash 88.92 与 98.94。

Three.js 音箱题:QoDuck 最终 10 项检查全过,场景包含 22 个网格、命名部件、OrbitControls、自动旋转与响应式画布;但实际从开始到完成约 24 分 38 秒,超过 900 秒预算,按 C=1.0、T=0 记 80 分。GLM-5.3-Flash 10 项检查全过,得 100。

Three.js 太阳系题:QoDuck 最终 13 项检查全过,场景包含 23 个网格、Earth-Moon 层级、开普勒轨道、OrbitControls 与响应式布局;但实际从开始到最终说明约 35 分钟,超过 1200 秒预算,按 C=1.0、T=0 记 80 分。GLM-5.3-Flash 13 项检查全过,得 100。

3D 门类 QoDuck 87.58、GLM-5.3-Flash 97.84。
8. 综合评分与结论
8.1 20 题校准集完整结果
校准集共 20 题,每门类 4 题,覆盖 L1、L2、L3 三档难度;QoDuck 与 GLM-5.3-Flash 各跑 1 次。逐题得分如下(满分 100):
| 题目 | 门类 / 难度 | QoDuck | GLM-5.3-Flash | 备注 |
|---|---|---|---|---|
| 柱状图三问:峰值、数值与合计(vision-01) | vision / L1 | 100.0 | 100.0 | |
| 表单报错定位与控件状态判定(vision-02) | vision / L2 | 82.5 | 89.65 | |
| 合并单元格汇总表的结构化抽取(vision-03) | vision / L2 | 89.25 | 92.5 | |
| 截断纵轴的双图对比与多步推理(vision-04) | vision / L3 | 92.5 | 92.5 | |
| 双诗整页:正写《卜算子·咏梅》+ 倒写《送杜少府》(hand-01) | handwriting / L3 | 100.0 | 90.0 | 两模型 0 CER;GLM 372.5 秒超预算 |
| 硬笔中文便笺三行转写(hand-02) | handwriting / L2 | 63.22 | 0.0 | QoDuck 行归属错位;GLM 720 秒无响应 |
| 苏轼《黄州寒食帖》局部转写(hand-03) | handwriting / L3 | 90.3 | 90.0 | 中文均 0 CER;GLM 318.9 秒超预算 |
| 英文连笔手写信逐行转写(hand-04) | handwriting / L3 | 81.82 | 62.32 | CER 0.0519 / 0.1038 |
| 向非技术读者解释 CDN(write-01) | writing / L1 | 82.5 | 47.5 | |
| 把版本更新日志改写给普通用户(write-02) | writing / L2 | 100.0 | 100.0 | |
| 文件协作迁移内部说明(write-03) | writing / L2 | 83.13 | 92.82 | |
| 客服知识库接入大模型的多来源分析(write-04) | writing / L3 | 90.0 | 0.0 | GLM 超时 |
| 条目看板 CRUD 接口(FastAPI + SQLite)(code-be-01) | coding / L1 | 84.94 | 80.0 | |
| 订单服务幂等键、事务一致性与结构迁移(code-be-02) | coding / L2 | 98.7 | 43.01 | |
| 可访问的站点巡检看板(原生前端)(code-fe-01) | coding / L2 | 71.14 | 0.0 | QoDuck 10/14;GLM 停在起始壳 |
| Snippet Vault 全栈应用(认证、上传、预览、删除)(code-fs-01) | coding / L3 | 97.34 | 22.73 | QoDuck 22/22;GLM 1/22 |
| 程序化低多边形台灯(3d-bl-01) | 3d / L1 | 95.3 | 88.92 | |
| 程序化产品场景与三视角渲染(3d-bl-02) | 3d / L3 | 96.76 | 98.94 | |
| Three.js 交互式音箱产品展示(3d-tj-01) | 3d / L2 | 80.0 | 100.0 | QoDuck 预算外完成,质量 10/10 |
| Three.js 程序化太阳系动画(3d-tj-02) | 3d / L3 | 80.0 | 100.0 | QoDuck 预算外完成 |
按门类与难度加权后的汇总如下:
| 门类 | QoDuck | GLM-5.3-Flash |
|---|---|---|
| 视觉 | 90.53 | 93.13 |
| 手写识别 | 85.05 | 64.14 |
| 写作 | 89.44 | 56.69 |
| 编程 | 88.92 | 32.34 |
| 3D | 87.58 | 97.84 |
| 加权总分 | 88.64 | 62.87 |
写作分数由事实覆盖(C)与约束遵守(I)两个客观部分组成;编程与 3D 题由隐藏测试或验证器的通过率、完成时间与接口约束组成。3D 的音箱题与太阳系题 QoDuck 都在预算外完成:音箱题质量 10/10、约 24 分 38 秒;太阳系题质量 13/13、约 35 分钟;两题均按 C=1.0、T=0 记 80 分。
上述分数由 eobench/v2/results/calibration_report.json 汇总;逐题原始评分器输出与响应保存在 eobench/v2/results/calibration/<model>/<task>/r1/result.json,评分公式与阈值见 eobench/v2/harness/score.py 与各题 score.py/validate.py。编程的前端与全栈题使用最终工作区的隐藏测试结果。
8.2 结论与适用建议
- QoDuck 在编程、写作与手写识别上领先;GLM-5.3-Flash 在视觉与 3D 上更强。
- 两模型加权总分为 88.64 与 62.87,差距 25.77 分;样本为每门类 4 题,不能据此给出绝对排名。
- 编程门类分化最大:QoDuck 后端 16/16 与 13/13、前端 10/14、全栈 22/22;GLM 后端 CRUD 满分,但幂等与迁移 3/13,前端与全栈停在起始壳。
- 手写门类:双诗整页两模型都全对(含左侧倒写诗),QoDuck 88.3 秒、GLM 372.5 秒;硬笔便笺 QoDuck 因行归属错位记 0.2069,GLM 720 秒无响应;寒食帖两模型 0 CER,GLM 超预算;英文信 QoDuck 字符错误更少。
- 3D 门类:Blender 两题两模型都通过;Three.js 音箱题 QoDuck 质量 10/10 但超出 900 秒预算、太阳系题质量 13/13 但超出 1200 秒预算,两题都按 80 分计;GLM 两题都在预算内完成,得 100。
- 需要完整规划的任务适合「极高」思考强度;短问答和格式转换可以降低强度。Qoder 侧使用 UIA 选模、临时工作区、仓库外参考答案与隐藏测试,能避免串题和答案泄漏。
9. 总结
9.1 核心内容回顾
- Qoduck 只在 Qoder 桌面端提供,评测必须按产品端到端口径设计。
- 标准集规划 100 题(80 核心 + 20 压力),当前 20 题校准集已完成,每门类 4 题;题目规格、隐藏测试与评分脚本分离,参考答案与隐藏测试放在仓库外。
- 视觉四题 QoDuck 90.53、GLM-5.3-Flash 93.13;手写识别四题 QoDuck 85.05、GLM-5.3-Flash 64.14:双诗整页两模型都 0 CER,硬笔便笺 QoDuck 行归属错位、GLM 未响应,寒食帖两模型 0 CER,英文信 CER 为 0.0519 与 0.1038;写作四题 QoDuck 89.44、GLM-5.3-Flash 56.69,写作分由事实覆盖与约束遵守两部分组成。
- 编程四题 QoDuck 88.92、GLM-5.3-Flash 32.34;QoDuck 后端 16/16 与 13/13、前端 10/14、全栈 22/22,GLM 后端 CRUD 满分但幂等与迁移 3/13、前端与全栈停在起始壳。
- 3D 四题 QoDuck 87.58、GLM-5.3-Flash 97.84;Blender 两题两模型均通过;Three.js 音箱题 QoDuck 质量 10/10 但超出 900 秒预算、太阳系题质量 13/13 但超出 1200 秒预算,两题都按 80 分计,GLM 两题都得 100。
- UIA 选模与新任务、像素判定、模板匹配、剪贴板取全文、临时工作区与仓库外答案隔离,构成当前采集链路。
- 两模型加权总分为 QoDuck 88.64、GLM-5.3-Flash 62.87;样本为每门类 4 题,只用于校准,不作为最终榜单结论。
9.2 常见问题与解答
问:为什么不用 API 测 Qoduck?
答:Qoduck 没有公开 API,Qoder IDE、JetBrains 插件与 CLI 也不支持,唯一入口是 Qoder 桌面端。
问:pass@1 与 pass_rate 有什么区别?
答:pass@1 表示单次尝试中隐藏测试全部通过,条件是 failed 为 0 且 errors 为 0;pass_rate 表示通过数除以总数。校准集每题跑一次;标准集对编程与 3D 全量跑 1 次,并对 25% 子集重复 3 次。
问:写作题为什么不用精确匹配?
答:写作属于开放式任务,校准集用事实覆盖(C)与约束遵守(I)两个客观部分计分,不引入主观量规;标准集仍保留人工评审与一致性检查。
问:如何把评测台迁移到其他模型?
答:在 Qoder 模型选择器中切换目标模型,并用 UIA 校验模型按钮文本确实包含目标模型名;保持同一套题目、同一时段、同一工作区设置与同一隔离方式。API 模型可以替换驱动层,直接调用接口并复用数据集与评分脚本。
10. 附录:指标定义与计算口径
10.1 准确率、CER 与 pass@1
| 指标 | 定义 | 计算 | 判定 |
|---|---|---|---|
| 视觉准确率 | 逐题字段匹配 | 通过题数除以总题数,单题内部按字段部分给分 | 0 至 1 |
| CER | 字符错误率 | 编辑距离除以参考字符总数;中文双诗题按整段拼接比较,便笺题按行比较 | 中文题通过线 0.45 至 0.55、英文题 0.25;C 按 cer_scale 0.45 至 0.55(英文 0.30)线性折算 |
| pass@1 | 单次尝试全部通过 | failed 为 0 且 errors 为 0 | 布尔值 |
| pass_rate | 通过比例 | passed 除以 total | 0 至 1 |
| 写作客观分 | 事实覆盖(C)与约束遵守(I) | C 取事实要点满足比例,I 取长度、禁用词、结构等检查通过率 | 0 至 1 |
| 3D 分项 | Blender 按题 7 至 9 项加权、Three.js 按题 9 至 13 项加权 | 通过项权重求和 | 0 至 1 |
CER 的分母为参考字符总数。双诗整页把输出按字序拼接后与整段参考比较;硬笔便笺按三行逐行比较,标点不计入;繁体/异体字在比较前归一。校准集的四道手写题参考文本与完整响应保存在各题 result.json:双诗整页两模型 CER 都是 0.0000;硬笔便笺 QoDuck 0.2069、GLM 超时无响应;寒食帖两模型 0.0000;英文信 QoDuck 0.0519、GLM-5.3-Flash 0.1038。
10.2 口径限制与复现要求
- UI 采样精度受轮询间隔限制,完成时间以复制按钮或工作区静默为准;编程与 3D 题的轮询间隔为 0.5 秒,时间分辨率更低。
- 端到端指标包含 Qoder 的 Hook 与渲染开销,不能与裸模型 API 的指标直接比较。
- 校准集每题只跑一次,pass@1 与写作客观分为单次样本;标准集对编程/3D 子集重复采样,并增加人工评审。
- 高峰排队、模型版本与账号环境会影响复现,报告需记录 Qoder 版本、账号环境、时段与网络环境。
评论