人机协作的复核回路:我给自己设的四道关卡
AI 产出的东西要经过哪些检查才能进主干。本文给出四道复核关卡的具体动作、每道关卡拦住了什么类型的错误,以及为什么「最后再一起看」是最差的复核方式。
目录
有一种很常见的协作模式:让 AI 干一大段活,干完了一起看。这个模式看起来高效,实际是最差的——因为错误会互相掩盖:十个文件里错了三个,你会在读第四个的时候已经疲劳,然后全部点通过。
我的做法是把复核拆成四道关卡,每道只查一件事。这篇文章讲这四道关卡各自拦什么、怎么执行。
一、为什么"最后一起看"失效
先看数据。一次真实的多文件改动,如果等到最后统一 review:
| 序 | 实际状态 | 复核时的心理 |
|---|---|---|
| 第 1 个 | 对 | 认真看 |
| 第 2 个 | 对 | 快速扫 |
| 第 3 个 | 错 | 有点累,觉得"应该没问题" |
| 第 4 个 | 对 | 只看格式 |
| 第 5 个 | 错 | 直接跳过 |
问题不是不认真,而是注意力是有限资源,而错误在文件之间是随机分布的。分散复核等于把有限的注意力随机撒在大量正确的代码上。
四道关卡的核心思路:每道关卡只用一个判断标准,且这个标准可以机器检查。
二、关卡一:结构检查(机器做,0 注意力)
这一关完全不看内容,只查"形状对不对"。
# 文件是否齐全
ls content/review/*.md | wc -l # 期望 4
ls content/pitfalls/*.md | wc -l # 期望 4
ls content/method/*.md | wc -l # 期望 3
# front matter 是否合规
for f in content/*/*.md; do
head -1 "$f" | grep -q '^---$' || echo "缺 front matter: $f"
grep -q '^category: ' "$f" || echo "缺 category: $f"
grep -q '^date: [0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}$' "$f" || echo "date 格式错: $f"
done
# 正文是否从 ## 开始(不重复一级标题)
grep -l '^# ' content/*/*.md && echo "↑ 这些文件写了重复的一级标题"这一关拦住的是:格式错误、缺字段、编号冲突。
为什么放第一关:因为它零成本,且能拦住最容易被忽略的错误——那些"看起来不像错误"的错误。日期写成 2026/11/20 在屏幕上和 2026-11-20 几乎一样。
三、关卡二:数字与事实核对(人做,逐条)
这一关只看可验证的具体值:版本号、路径、命令、数字。
我的做法是把文中所有"硬事实"列成清单,逐条回查:
| 文中说法 | 出处 | 状态 |
|---|---|---|
| node v22.19.0 | node -v 实测 | ✓ |
| codex 492 MB | du -sh 实测 | ✓ |
| 启动 145ms | 3 次测量取稳定值 | ✓ |
| 93.7% 命中率 | 会话统计输出 | ✓ |
| Gemini 需要授权 | 实测挂起 6 分钟 | ✓ |关键规则:没有出处的数字一律降级为 (待核实)。
这一关的产出往往不是"改错",而是"删掉"。我写十篇里大概有三到五个数字最后是被删掉的——因为追不到一手来源。
这一关拦住的是:编造的数字、过时的版本号、记错的路径。
四、关卡三:可执行验证(机器做,但要看输出)
前两关都是静态的。第三关必须真的跑。
# 1. 从零构建,不是增量
rm -rf public
npm run build; echo "build exit=$?"
# 2. 产物数量与预期比对
find public -name '*.html' | wc -l
# 3. 抽一篇文章,检查关键标签是否渲染
grep -o '<title>[^<]*</title>' public/posts/*/index.html | head -3
grep -c 'rel="canonical"' public/posts/*/index.html | head -3
# 4. 断链检查(如果构建器提供)
npm run build 2>&1 | grep -i 'broken\|断链' || echo "无断链报告"三个细节:
- 必须从零构建。增量构建会复用旧产物,掩盖"某篇没生成"的问题。
- 必须看退出码,不看输出末尾。前面写过,管道会吞退出码,
| tail之后$?是 tail 的。 - 必须抽查,不能只看总数。10 个 HTML 都生成了,不代表内容对。
# 反面写法:管道吞掉退出码
npm run build 2>&1 | tail -5; echo "exit=$?" # 永远是 0
# 正确写法
set -o pipefail
npm run build 2>&1 | tail -5; echo "exit=$?" # 真实的退出码这一关拦住的是:构建失败、产物缺失、模板变量没替换。
五、关卡四:反向测试(人做,最容易被跳过)
前三关都在验证"该发生的发生了吗"。第四关验证相反的事:不该发生的,发生了吗?
具体动作是故意制造一个错误,看系统会不会报。
# 试 1:改坏一个 front matter,构建应该失败
cp content/review/001-cli-coding-agents.md /tmp/bak.md
sed -i 's/^category: review$/category: reviewx/' content/review/001-cli-coding-agents.md
npm run build; echo "exit=$?" # 期望非 0
cp /tmp/bak.md content/review/001-cli-coding-agents.md
# 试 2:删掉一个必需字段,构建应该失败
# 试 3:故意写一个不存在的内部链接,应该出现在断链报告里如果改坏了它还 exit 0,说明你的验收是假的——你只是在看它有没有崩,而不是在验证它有没有做对。
这一关的收益特别高,因为它验证的是"检查机制本身是否有效"。前面三关的结论都依赖这套机制。
六、四个关卡的分工
压成一张表:
| 关卡 | 谁做 | 查什么 | 典型拦截 |
|---|---|---|---|
| 一、结构 | 脚本 | 形状、字段、命名 | 日期格式错、编号重复 |
| 二、事实 | 人 | 数字与来源 | 编造的版本号 |
| 三、执行 | 脚本 | 真的跑通 | 构建失败、产物缺失 |
| 四、反向 | 人 | 检查机制是否有效 | 假验收 |
顺序不能换:结构先过(否则后面全是噪音),事实再核(便宜),执行第三(较慢),反向最后(最慢但最有价值)。
七、一次真实的拦截记录
写这批文章的过程中,四道关卡的实际情况(举两个具体例子):
关卡一拦到:一篇的 date 写成了集合之外的日期。这种错误肉眼几乎看不出——因为日期本身合法,只是不符合分配方案。
关卡二拦到:一处"某工具占用 492 MB"我最初写成"约 500 MB"。回查 du -sh 输出是 492M,改回精确值。这类"四舍五入"看起来无害,但它让读者无法复现。
关卡四的价值:我在写"静默失败"那篇时,必须先确认这些坑真的能复现。所以我实际跑了六个实验脚本,输出贴进文章。如果我只凭记忆写,很可能会出现"这个坑其实在 bash 5 里已经修了"这种错误。
八、为什么这套流程不慢
乍看四道关卡很重。实际耗时:
| 关卡 | 耗时 |
|---|---|
| 结构检查 | 10 秒(一条脚本) |
| 事实核对 | 5~10 分钟(最大头) |
| 执行验证 | 1~2 分钟 |
| 反向测试 | 2~3 分钟 |
总共 10~15 分钟。而漏掉一个错误、被读者指出来、再改一遍,成本是半小时起——还不算信任损失。
关卡二最贵是因为它只能人做。 但它的价值密度也最高:编造的数字是唯一一类"技术上没错但本质是错"的问题,机器查不出来。
九、什么情况下可以砍掉关卡
诚实说,不是所有产出都值得走四关:
| 场景 | 保留 | 可砍 |
|---|---|---|
| 草稿、内部讨论 | 一 | 二三四 |
| 会发布的文档 | 一二三四 | — |
| 一次性脚本 | 三 | 一二四 |
| 不可逆操作前 | 全部 + 人工确认 | — |
判断标准还是"错误代价 × 发现难度"。两个都高就走全流程,否则按需砍。
结论
三句话:
- 复核要拆,不要攒。 攒到最后看,注意力会被随机消耗。
- 每道关只有一个标准。 一关查多件事,等于没查。
- 必须有一关验证"检查本身有效"。 否则前三关的结论都是自说自话。
下一步
如果你现在只有一道"最后看一眼"的关卡,最小可行的改法是加一道结构脚本。它 10 秒就能跑完,却能拦掉大部分低级错误——性价比最高的一步。
跑顺了再加执行验证,最后加反向测试。别一次上四道,会上不动。