2026 年 11 月 08 日——2026 年 11 月 8 日,独立游戏开发者兼机器学习工程师 @follistatindev 在 X 平台公布 GameFeel Bench v1.4 更新:新增阿里巴巴 Qwen-4-Flash-Early 早期检查点(代号 Hawk),该模型以 49.9 分的综合均分位列第一,高于 Claude Opus 5.5(XHigh)的 47.2 分;同批加入的 Qwen-4-27B-Early(代号 QoDuck)以 44.6 分位列第四。
榜单同时给出单任务成本。Qwen-4-Flash-Early 约为 0.40 美元,Qwen-4-27B-Early 约为 0.16 美元;作为对比,Opus 5.5(XHigh)为 2.60 美元,Sonnet 5.5(Max)为 7.80 美元。测试者对两款 Qwen4 检查点采用自定义 API 计费口径,Anthropic 模型则按订阅价格折算。作者表示,两项 Qwen4 早期访问权限均由其联系阿里巴巴后获得。
基准构成与评分方法
GameFeel Bench 是作者自建的私有基准,聚焦游戏开发与创意任务,不覆盖通用能力。v1.4 使用 12 款未公开发布的游戏项目,肉鸽、MMORPG、单机 RPG、生存与沙盒四类各 3 款;每款游戏都测试 7 个子类,分别是编程-创建、编程-修 Bug、游戏感、创意-想法、创意-视觉、创意-音频、游戏感逆向评估(RE),合计 84 个「子类 × 游戏」组合、约 6 万个任务。
评分上,游戏感、想法、视觉、音频四个子类由人工逐题按 1 至 10 分打分,每款游戏每个子类约 800 题,合计约 38,400 个人工评分任务,均分乘以 10 换算为百分制;编程与 RE 子类对照答案键,由 Opus 5.5 判断答案属于格式误差还是近似命中。作者在 GitHub 仓库 kodasdream/gamefeel-benchmark 中更新了方法说明,并表示将公开 RE 子类的部分题目;完整任务集尚未开放。
总分与单任务成本
| 模型(档位) | 综合均分 | 单任务成本 | 计费口径 | 单任务耗时 | 输出速度 |
|---|---|---|---|---|---|
| Qwen-4-Flash-Early(Max) | 49.9 | 0.40 美元 | 自定义 API | 23 分钟 | 240 tokens/s |
| Claude Opus 5.5(XHigh) | 47.2 | 2.60 美元 | 订阅折算 | 90 分钟 | 67 tokens/s |
| Claude Sonnet 5.5(Max) | 45.0 | 7.80 美元 | 订阅折算 | 90 分钟 | 120 tokens/s |
| Qwen-4-27B-Early(XHigh) | 44.6 | 0.16 美元 | 自定义 API | 185 分钟 | 370 tokens/s |
按上述单任务成本计算,Qwen-4-Flash-Early 约为 Opus 5.5 的 1/6.5,Qwen-4-27B-Early 约为 Opus 5.5 的 1/16。四款模型的上下文窗口在榜单中均记为 100 万 tokens。Qwen-4-Flash-Early 的开放权重状态未标注;Qwen-4-27B-Early 标注为开放权重,模型体积 35GB。
子类得分
| 模型 | 编程-创建 | 编程-修 Bug | 游戏感 | 创意-想法 | 创意-视觉 | 创意-音频 | 游戏感 RE |
|---|---|---|---|---|---|---|---|
| Qwen-4-Flash-Early | 65 | 63 | 52 | 54 | 64 | 31 | 19.95 |
| Claude Opus 5.5(XHigh) | 65 | 65 | 50 | 41 | 63 | 25 | 21.67 |
| Claude Sonnet 5.5(Max) | 65 | 65 | 48 | 39 | 54 | 21 | 23.33 |
| Qwen-4-27B-Early | 64 | 63 | 51 | 43 | 48 | 28 | 14.88 |
Qwen-4-Flash-Early 的领先主要来自创意与游戏感子类:游戏感 52 分高于 Opus 5.5 的 50 分,想法 54 分高于 41 分,视觉 64 分高于 63 分,音频 31 分高于 25 分;其编程-创建与 Opus 5.5 同为 65 分,编程-修 Bug 为 63 分对 65 分,RE 为 19.95 分对 21.67 分,两项落后。综合第一由创意类子项的较大幅度领先贡献。
Qwen-4-27B-Early 的七项得分为编程-创建 64、编程-修 Bug 63、游戏感 51、想法 43、视觉 48、音频 28、RE 14.88,综合 44.6 分。作者在单独介绍该模型时表示,其当时仅落后于 Opus 5.5 的两个档位,是开放权重模型中得分最高者;随后加入的 Qwen-4-Flash-Early 与 Sonnet 5.5(Max)也排在它之前。
评测口径与限制
- 该基准为作者私有,完整任务集、提示词与答案键尚未公开,外部暂无法复现全部结果;11 月 8 日公开的仅为 RE 子类部分题目与方法说明。
- 评测范围限于游戏开发与创意任务,不能据此推断模型在通用推理、知识问答或生产级软件工程上的表现。
- 单任务成本混合了两种计费方式:Qwen4 检查点按测试者使用的自定义 API 计费,Anthropic 模型按订阅套餐价格折算,横向比较会受实际使用强度影响。
- 编程与 RE 的答案键由 Opus 5.5 辅助判定,而 Opus 5.5 同时是参评模型,评分独立性仍需更多验证。
- 作者曾修正 Qwen-4-27B 的音频得分计算错误,榜单数据仍在迭代。
Qwen4 发布背景
Qwen4 系列于 2026 年 9 月 22 日云栖大会首次公开完整阵容,包括 Qwen4-Max、Qwen4-Plus、Qwen4-Flash 与 Qwen4-27B 四款,官方当时表示模型仍在训练。截至发稿,阿里巴巴尚未公布 Qwen4 的正式发布日期与 API 价格;千问官方 X 账号于 11 月 6 日发布预热内容,社区有 11 月 10 日发布的传闻,但未获官方确认。此次参评的两个检查点均为早期版本,不代表最终发布版本的能力。
评论