一手证据优先:为什么我不信总结信日志
总结会骗人,日志不会。本文给出证据分级与取证流程:如何区分一手观测与转述、怎样构造可复现的最小验证,以及三个因轻信总结而返工的真实案例。
目录
我做过最亏的一件事,是相信了一份"已经调研清楚了"的总结,然后基于它写了三天代码,最后发现总结里的关键结论是错的。从那以后我给自己定了一条规矩:任何要影响决策的结论,必须有我能自己重跑的一手证据。
这篇文章讲清楚三件事:证据怎么分级、怎么取证、以及为什么"看起来更省时间"的做法反而更贵。
一、证据分级:四级,只有前两级能用来做决策
| 级别 | 定义 | 例子 | 能否作为决策依据 |
|---|---|---|---|
| L1 亲自复现 | 我在本机跑出来,有命令和输出 | codex --version → 0.169.1 | 可以 |
| L2 一手产物 | 工具/系统直接生成的原始文件 | 日志文件、字节 dump、CSV | 可以 |
| L3 他人转述 | 别人写的总结、文档、issue | "官方文档说支持 X" | 需回溯到 L1/L2 |
| L4 模型生成 | AI 凭记忆给的答案 | "通常这个参数是…" | 不可 |
大部分事故来自把 L4 当 L1 用。AI 说"这个 API 接受三个参数",你信了,写进去,跑起来报错——你损失的不是那三行代码,是排查时间。
一个具体例子。我曾经让 AI 帮我确认"某个 CLI 的非交互参数是什么"。它回答得很自信。实测:
codex --help 2>&1 | grep -iE '^\s+-' | head
# -c, --config <key=value>
# -m, --model <MODEL>
# -s, --sandbox <SANDBOX_MODE>
# ...
codex exec --help 2>&1 | head -3
# Usage: codex exec [OPTIONS] [PROMPT]真正的入口是 codex exec 子命令,不是某个 flag。这个差异只有查 --help 才知道,AI 的回答当时是错的。
二、取证流程:四步,缺一步都不算数
我现在的标准流程:
# 第 1 步:拿到"能复现的最小命令"
# 不是"我在项目里跑的",而是"在任何目录都能跑通的"
# 第 2 步:捕获原始输出,字节级
cmd > out.txt 2> err.txt
echo "exit=$?"
wc -c out.txt err.txt
# 第 3 步:看原文字节,不看渲染
xxd out.txt | head -3
# 第 4 步:把命令 + 输出 + 环境版本一起记下来
node -v; python -V; git --version第 3 步经常被跳过,但它救过我很多次。举两个真实例子:
例子 A:中文乱码。 屏幕上显示 科技板块,看起来完全正常。但 xxd 一看:
bfc6 bcbc b0e5 bfe9 ← GBK
e7a7 91e6 8a80 e69d ← UTF-8同一句中文,字节完全不同。如果下游程序按 UTF-8 读 GBK 文件,结果是乱码但不报错。只靠"看起来对"永远发现不了。
例子 B:退出码与输出不一致。
timeout 20 codex --version > out.txt 2> err.txt; echo "exit=$?"
# exit=126
wc -c out.txt err.txt
# 0 out.txt
# 0 err.txt退出码喊错,但两个输出流都是空的。这种情况如果你只看输出,会以为"没输出=没问题"。
三、三个因轻信总结而返工的案例
案例 1:配置文件编码。
一份总结说"配置文件是 CRLF,Windows 上很常见"。我按 CRLF 写回,结果整个文件在 diff 里全红。实测字节:
from pathlib import Path
b = Path("cordis.patch.yml").read_bytes()
print("CRLF=%d bareLF=%d" % (b.count(b"\r\n"), b.count(b"\n") - b.count(b"\r\n")))
# CRLF=0 bareLF=48 ← 是 LF教训:"Windows 上通常是 CRLF"是统计规律,不是这台机器的事实。 取证只花 3 秒。
案例 2:数据源编码。
一份分析报告说上游 CSV"可能有编码问题"。我基于这句话设计了复杂的探测逻辑。实际直连一次:
HTTP 200,913,900 字节,GBK,2823 行 × 87 列一次请求就确定了:确定是 GBK,不需要"可能"。从"可能"到"确定"只花了一个 curl,但省掉了整套防御代码。
案例 3:某个能力"不支持"。
总结说某工具不能做 X。我信了,绕了一大圈。后来查 --help 发现有个我完全没注意到的参数直接支持。
三个案例的共同点:总结里的结论方向大致对,但具体到这个环境、这个版本、这台机器,全部需要重新确认。
四、怎么判断一份总结值不值得信
我现在给任何二手材料打分,看四件事:
| 信号 | 可信 | 可疑 |
|---|---|---|
| 有没有命令原文 | 有,能复制粘贴 | 只有结论 |
| 有没有原始输出 | 有,含报错原文 | 只有"试过了" |
| 有没有版本号/路径 | 有 | "最新版" |
| 有没有说失败的部分 | 说了 | 全是成功 |
第三条我特别在意。没有版本号的结论都是不可复现的结论——今天对,明天可能就错。
五、代价对比:取证 vs 返工
有人觉得取证慢。算一下:
| 环节 | 耗时 |
|---|---|
| 跑一次最小验证命令 | 10~30 秒 |
| 捕获输出 + 看字节 | 5 秒 |
| 记录环境版本 | 5 秒 |
| 合计 | 约 40 秒 |
| 因错误前提返工一次 | 半天到三天 |
40 秒对半天,这个比例不需要犹豫。
而且取证是可复用的。一次验证留下的命令和输出,下次遇到同类问题可以直接比对。
六、我的实际工作流
落在具体动作上:
# 每做一个会写进文档/影响决策的结论,就在 .scratch/ 下留一份
mkdir -p .scratch/evidence-2026-11-20
cat > .scratch/evidence-2026-11-20/README.md <<'EOF'
问题:CLI 非交互入口是什么
命令:codex exec --help | head -3
输出:Usage: codex exec [OPTIONS] [PROMPT]
版本:codex-cli 0.169.1 / node v22.19.0
结论:入口是子命令 exec,不是 flag
EOF关键点:证据要落在项目之外(.scratch/ 这种目录),不要污染正式代码库,但也不要放在会丢的临时目录里。
七、这条方法什么时候不适用
诚实地说,不是所有事都值得取证:
- 一次性、不可逆性低的事:直接试,错了重来
- 已经有 L1 证据的重复问题:复用上次结论即可
- 纯偏好问题:"用 tab 还是空格"不需要证据
判断标准还是回到"错误代价 × 发现难度":两个都高,就必须取证。
结论
一句话概括方法论:把"我以为"换成"我量过"。
具体三条:
- 任何要写进文档或影响架构的数字,必须有对应的命令和输出
- 看字节,不看渲染
- 记版本号,否则结论不可复现
下一步
给自己装一个习惯:写文档时,每个数字后面想想"我是从哪知道的"。如果答案是"某篇总结说的",就去把它降级成 (待核实),然后补一次验证。
这个习惯刚开始会让你写得慢一点。但一个月后你会发现,你的文档里再没有需要撤回的段落——这本身就是最大的效率。