2026 年 11 月 08 日——2026 年 11 月 8 日,独立游戏开发者兼机器学习工程师 @follistatindev 在 X 平台公布 GameFeel Bench v1.4 更新:新增阿里巴巴 Qwen-4-Flash-Early 早期检查点(代号 Hawk),该模型以 49.9 分的综合均分位列第一,高于 Claude Opus 5.5(XHigh)的 47.2 分;同批加入的 Qwen-4-27B-Early(代号 QoDuck)以 44.6 分位列第四。

榜单同时给出单任务成本。Qwen-4-Flash-Early 约为 0.40 美元,Qwen-4-27B-Early 约为 0.16 美元;作为对比,Opus 5.5(XHigh)为 2.60 美元,Sonnet 5.5(Max)为 7.80 美元。测试者对两款 Qwen4 检查点采用自定义 API 计费口径,Anthropic 模型则按订阅价格折算。作者表示,两项 Qwen4 早期访问权限均由其联系阿里巴巴后获得。

基准构成与评分方法

GameFeel Bench 是作者自建的私有基准,聚焦游戏开发与创意任务,不覆盖通用能力。v1.4 使用 12 款未公开发布的游戏项目,肉鸽、MMORPG、单机 RPG、生存与沙盒四类各 3 款;每款游戏都测试 7 个子类,分别是编程-创建、编程-修 Bug、游戏感、创意-想法、创意-视觉、创意-音频、游戏感逆向评估(RE),合计 84 个「子类 × 游戏」组合、约 6 万个任务。

评分上,游戏感、想法、视觉、音频四个子类由人工逐题按 1 至 10 分打分,每款游戏每个子类约 800 题,合计约 38,400 个人工评分任务,均分乘以 10 换算为百分制;编程与 RE 子类对照答案键,由 Opus 5.5 判断答案属于格式误差还是近似命中。作者在 GitHub 仓库 kodasdream/gamefeel-benchmark 中更新了方法说明,并表示将公开 RE 子类的部分题目;完整任务集尚未开放。

总分与单任务成本

模型(档位) 综合均分 单任务成本 计费口径 单任务耗时 输出速度
Qwen-4-Flash-Early(Max) 49.9 0.40 美元 自定义 API 23 分钟 240 tokens/s
Claude Opus 5.5(XHigh) 47.2 2.60 美元 订阅折算 90 分钟 67 tokens/s
Claude Sonnet 5.5(Max) 45.0 7.80 美元 订阅折算 90 分钟 120 tokens/s
Qwen-4-27B-Early(XHigh) 44.6 0.16 美元 自定义 API 185 分钟 370 tokens/s

按上述单任务成本计算,Qwen-4-Flash-Early 约为 Opus 5.5 的 1/6.5,Qwen-4-27B-Early 约为 Opus 5.5 的 1/16。四款模型的上下文窗口在榜单中均记为 100 万 tokens。Qwen-4-Flash-Early 的开放权重状态未标注;Qwen-4-27B-Early 标注为开放权重,模型体积 35GB。

子类得分

模型 编程-创建 编程-修 Bug 游戏感 创意-想法 创意-视觉 创意-音频 游戏感 RE
Qwen-4-Flash-Early 65 63 52 54 64 31 19.95
Claude Opus 5.5(XHigh) 65 65 50 41 63 25 21.67
Claude Sonnet 5.5(Max) 65 65 48 39 54 21 23.33
Qwen-4-27B-Early 64 63 51 43 48 28 14.88

Qwen-4-Flash-Early 的领先主要来自创意与游戏感子类:游戏感 52 分高于 Opus 5.5 的 50 分,想法 54 分高于 41 分,视觉 64 分高于 63 分,音频 31 分高于 25 分;其编程-创建与 Opus 5.5 同为 65 分,编程-修 Bug 为 63 分对 65 分,RE 为 19.95 分对 21.67 分,两项落后。综合第一由创意类子项的较大幅度领先贡献。

Qwen-4-27B-Early 的七项得分为编程-创建 64、编程-修 Bug 63、游戏感 51、想法 43、视觉 48、音频 28、RE 14.88,综合 44.6 分。作者在单独介绍该模型时表示,其当时仅落后于 Opus 5.5 的两个档位,是开放权重模型中得分最高者;随后加入的 Qwen-4-Flash-Early 与 Sonnet 5.5(Max)也排在它之前。

评测口径与限制

  • 该基准为作者私有,完整任务集、提示词与答案键尚未公开,外部暂无法复现全部结果;11 月 8 日公开的仅为 RE 子类部分题目与方法说明。
  • 评测范围限于游戏开发与创意任务,不能据此推断模型在通用推理、知识问答或生产级软件工程上的表现。
  • 单任务成本混合了两种计费方式:Qwen4 检查点按测试者使用的自定义 API 计费,Anthropic 模型按订阅套餐价格折算,横向比较会受实际使用强度影响。
  • 编程与 RE 的答案键由 Opus 5.5 辅助判定,而 Opus 5.5 同时是参评模型,评分独立性仍需更多验证。
  • 作者曾修正 Qwen-4-27B 的音频得分计算错误,榜单数据仍在迭代。

Qwen4 发布背景

Qwen4 系列于 2026 年 9 月 22 日云栖大会首次公开完整阵容,包括 Qwen4-Max、Qwen4-Plus、Qwen4-Flash 与 Qwen4-27B 四款,官方当时表示模型仍在训练。截至发稿,阿里巴巴尚未公布 Qwen4 的正式发布日期与 API 价格;千问官方 X 账号于 11 月 6 日发布预热内容,社区有 11 月 10 日发布的传闻,但未获官方确认。此次参评的两个检查点均为早期版本,不代表最终发布版本的能力。