2026 年 11 月 17 日——Anthropic Claude Code 团队于 11 月 16 日在 claude.dev 工程博客发布《How the Claude Code team thinks about verification》,作者为 Addy Osmani。文章称团队约 90% 的代码由 Claude 编写并审查,给出三类最值得投入的测试——端到端测试、属性测试与差分测试;官方披露的内部结构化文件生成测试显示,由独立评分器按评分标准核查 Claude 的产出,任务成功率较标准提示流程最高提高 10 个百分点,最难的题目收益最大。

验证闭环决定能并行多少个 Claude

官方把验证闭环称为「把工作更多委派给 Claude 的基础构件」:没有它,一次只能跑一到两个 Claude,因为所有产出都要人自己检查;有了它,可以并行数十到数百个。原因是成本结构变了——过去昂贵的测试、基准、规格说明与真实端到端运行,现在都能廉价地要求智能体生成,而生成之后它们以软件形式运行,可高频执行且不额外消耗大量 token。

闭环还能反向改进智能体。官方举例称,若智能体反复在「检查日志是否含用户数据」这类测试上失败,就为此建一个 hook,或在 CLAUDE.md 中写一条更明确的规则,基本可杜绝同类问题再次发生。

三类最值得投入的测试

文章明确排序:只能投入一类时,选端到端测试。

测试类型 做法 官方要点
端到端测试 描述真实用户流程,如加购物车、结算、跳转确认页 难以被糊弄,功能要么整体可用要么不可用;完成判据明确,能指出具体哪里坏了
属性测试 先写一条「不可能不成立」的断言,再用测试库生成数千条输入试图证伪 覆盖人易漏、智能体也常失败的边界;JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest
差分测试 同一批输入分别跑旧系统与新系统,比对输出 以旧系统为判定基准,适合功能预期不变的大规模迁移

官方指出,单元测试更快也更少抖动,但智能体与测试都可能没理解完整任务,因此存在「单元测试通过、功能仍然坏掉」的情况。端到端测试则给智能体一双在真实系统上的「手和眼」:用 skill 启动、驱动并检查应用,工具可选 CDP、模拟器或 API 测试框架;从用户视角列出功能、路径、快捷键、选择器与预期结果的功能地图,可同时充当引导与评分标准。

属性测试的价值在偏差隔离。官方列举四类几乎每个项目都有的性质:往返编码(编码后解码应还原原值)、不变量(如账户余额永不为负)、幂等性(迁移、归一化、重试做两次与一次等效)、等价性(优化代码与朴素正确代码结果一致)。这些边界用例不带写代码那个智能体的同类偏差,在规格已偏离生产行为的重写场景中尤其有用。差分测试则要用随机生成输入或生产流量采样,归一化空白等无关因素,并维护一份「已批准变更」清单。

文章同时提醒测试自身的三种失败模式:抖动会训练智能体反复重跑而不是修代码;太慢会让它每批跑更少测试、难以定位问题;较重的测试最好放在提交变更之前。

团队内部的验证与门禁做法

官方强调「验证意味着把变更真正跑起来」,跑通应用比跑测试更重要:Web 用 Claude Chrome 扩展,移动端用 iOS 或 Android MCP,桌面用 computer use,后端在本地起服务。团队把启动方式固化成名为 verify 的 skill,放在仓库 .claude/skills/ 下并尽量贴近相关代码,Claude 会在提交前使用它。官方称这是 Anthropic 内部测试几乎所有变更的方式。

环节 官方做法与数据
失败升级阈值 同一检查三轮后仍失败,Claude 停下并交给人
检查作者 代码 owner 自己写并打磨,拉人介入时须说明原因
可靠性清单 39 项,每项含可从 diff 读出的触发条件、检查内容与背后事故;单次通常命中 3 到 10 项
审查者 不叠加更贵的第二审查者,而是用 REVIEW.md 调优主审查者;每轮基于前轮上下文与历史失败
检查隔离 Code Review 从 base 或默认分支读 REVIEW.md,绝不从 PR 自身变更读取;审查只对特定 commit 负责
便宜检查前置 开 PR 前跑测试、构建与 linter,可用 hook 或「测试全绿」的 /goal 强制
commit 门禁 每个 commit 打验证标记(含 none);会话未含 /code-review 或 /verify 可拦截,分 off、observe、enforce 三档,被拦两次后放行下一次

团队还「审查审查者」:跟踪已合并变更的回滚数、维护者合并前的拒绝数,并以一组规模匹配的干净变更作对照。正式评估基于历史事故与回滚,把仓库恢复到当时状态、给出一句话答案键,只有正确描述该 bug 的发现才得分;调参集与固定测试集分开,召回率按原始发现、验证后、最终审查三阶段分别统计。发现打 Important、Nit、Pre-existing 标签,召回率调到「再提升就是对评估集过拟合」为止。

把漏检与抖动沉淀成规则

文章给出两条路径。一是从人工审查评论与 PR 回滚中提取模式,候选问题须在至少两个 PR 出现且能从 diff 识别,由三个智能体尝试证伪,再由人在 PR 中审核批准。二是对关联已知事故的 PR 重放三个 bug finder,至少两个找到即认定该 bug 可检测;若它在小 diff 上被漏掉,这个缺口就值得写成 REVIEW.md 的一条规则。

抖动测试适用同一套纪律:Claude 不能跳过、不能加 sleep、也不能重试到通过;找不到根因就删掉该测试并写明原因。规则本身也需定期清理,否则测试套件、验证步骤与各类 .md 文件只会不断膨胀。

从读代码转向定义完成标准

本文是团队 10 月 15 日《How the Claude Code team does code review》的续篇。后者披露 6 月至 9 月 Claude Code 仓库合并 PR 翻倍以上、需回滚比例下降超 40%,Anthropic 单体仓库日均合并量从 5 月约 2500 次增至 9 月超 3 万次;对外的 Code Review for Claude Code 已在 Team 与 Enterprise 套餐正式可用,本地由 /code-review 运行轻量版本。

官方在结尾给出的结论是:把验证层当作独立系统对待——让它远离被它评判的变更,用真正在意的 bug 考核它,漏检时把教训写下来以免重复发生,并定期修剪这些教训。做到之后,人的工作就从逐个读 diff 转向定义「完成」是什么样子并审核证据,而这正是能同时运行许多个 Claude 的前提。