一手证据优先:为什么我不信总结信日志

总结会骗人,日志不会。本文给出证据分级与取证流程:如何区分一手观测与转述、怎样构造可复现的最小验证,以及三个因轻信总结而返工的真实案例。

目录
  1. 一、证据分级:四级,只有前两级能用来做决策
  2. 二、取证流程:四步,缺一步都不算数
  3. 三、三个因轻信总结而返工的案例
  4. 四、怎么判断一份总结值不值得信
  5. 五、代价对比:取证 vs 返工
  6. 六、我的实际工作流
  7. 七、这条方法什么时候不适用
  8. 结论
  9. 下一步

我做过最亏的一件事,是相信了一份"已经调研清楚了"的总结,然后基于它写了三天代码,最后发现总结里的关键结论是错的。从那以后我给自己定了一条规矩:任何要影响决策的结论,必须有我能自己重跑的一手证据。

这篇文章讲清楚三件事:证据怎么分级、怎么取证、以及为什么"看起来更省时间"的做法反而更贵。

一、证据分级:四级,只有前两级能用来做决策

级别定义例子能否作为决策依据
L1 亲自复现我在本机跑出来,有命令和输出codex --version → 0.169.1可以
L2 一手产物工具/系统直接生成的原始文件日志文件、字节 dump、CSV可以
L3 他人转述别人写的总结、文档、issue"官方文档说支持 X"需回溯到 L1/L2
L4 模型生成AI 凭记忆给的答案"通常这个参数是…"不可

大部分事故来自把 L4 当 L1 用。AI 说"这个 API 接受三个参数",你信了,写进去,跑起来报错——你损失的不是那三行代码,是排查时间。

一个具体例子。我曾经让 AI 帮我确认"某个 CLI 的非交互参数是什么"。它回答得很自信。实测:

bash
codex --help 2>&1 | grep -iE '^\s+-' | head
# -c, --config <key=value>
# -m, --model <MODEL>
# -s, --sandbox <SANDBOX_MODE>
# ...
codex exec --help 2>&1 | head -3
# Usage: codex exec [OPTIONS] [PROMPT]

真正的入口是 codex exec 子命令,不是某个 flag。这个差异只有查 --help 才知道,AI 的回答当时是错的。

二、取证流程:四步,缺一步都不算数

我现在的标准流程:

bash
# 第 1 步:拿到"能复现的最小命令"
#   不是"我在项目里跑的",而是"在任何目录都能跑通的"

# 第 2 步:捕获原始输出,字节级
cmd > out.txt 2> err.txt
echo "exit=$?"
wc -c out.txt err.txt

# 第 3 步:看原文字节,不看渲染
xxd out.txt | head -3

# 第 4 步:把命令 + 输出 + 环境版本一起记下来
node -v; python -V; git --version

第 3 步经常被跳过,但它救过我很多次。举两个真实例子:

例子 A:中文乱码。 屏幕上显示 科技板块,看起来完全正常。但 xxd 一看:

text
bfc6 bcbc b0e5 bfe9   ← GBK
e7a7 91e6 8a80 e69d   ← UTF-8

同一句中文,字节完全不同。如果下游程序按 UTF-8 读 GBK 文件,结果是乱码但不报错。只靠"看起来对"永远发现不了。

例子 B:退出码与输出不一致。

bash
timeout 20 codex --version > out.txt 2> err.txt; echo "exit=$?"
# exit=126
wc -c out.txt err.txt
# 0 out.txt
# 0 err.txt

退出码喊错,但两个输出流都是空的。这种情况如果你只看输出,会以为"没输出=没问题"。

三、三个因轻信总结而返工的案例

案例 1:配置文件编码。

一份总结说"配置文件是 CRLF,Windows 上很常见"。我按 CRLF 写回,结果整个文件在 diff 里全红。实测字节:

python
from pathlib import Path
b = Path("cordis.patch.yml").read_bytes()
print("CRLF=%d bareLF=%d" % (b.count(b"\r\n"), b.count(b"\n") - b.count(b"\r\n")))
# CRLF=0 bareLF=48   ← 是 LF

教训:"Windows 上通常是 CRLF"是统计规律,不是这台机器的事实。 取证只花 3 秒。

案例 2:数据源编码。

一份分析报告说上游 CSV"可能有编码问题"。我基于这句话设计了复杂的探测逻辑。实际直连一次:

text
HTTP 200,913,900 字节,GBK,2823 行 × 87 列

一次请求就确定了:确定是 GBK,不需要"可能"。从"可能"到"确定"只花了一个 curl,但省掉了整套防御代码。

案例 3:某个能力"不支持"。

总结说某工具不能做 X。我信了,绕了一大圈。后来查 --help 发现有个我完全没注意到的参数直接支持。

三个案例的共同点:总结里的结论方向大致对,但具体到这个环境、这个版本、这台机器,全部需要重新确认。

四、怎么判断一份总结值不值得信

我现在给任何二手材料打分,看四件事:

信号可信可疑
有没有命令原文有,能复制粘贴只有结论
有没有原始输出有,含报错原文只有"试过了"
有没有版本号/路径有"最新版"
有没有说失败的部分说了全是成功

第三条我特别在意。没有版本号的结论都是不可复现的结论——今天对,明天可能就错。

五、代价对比:取证 vs 返工

有人觉得取证慢。算一下:

环节耗时
跑一次最小验证命令10~30 秒
捕获输出 + 看字节5 秒
记录环境版本5 秒
合计约 40 秒
因错误前提返工一次半天到三天

40 秒对半天,这个比例不需要犹豫。

而且取证是可复用的。一次验证留下的命令和输出,下次遇到同类问题可以直接比对。

六、我的实际工作流

落在具体动作上:

bash
# 每做一个会写进文档/影响决策的结论,就在 .scratch/ 下留一份
mkdir -p .scratch/evidence-2026-11-20
cat > .scratch/evidence-2026-11-20/README.md <<'EOF'
问题:CLI 非交互入口是什么
命令:codex exec --help | head -3
输出:Usage: codex exec [OPTIONS] [PROMPT]
版本:codex-cli 0.169.1 / node v22.19.0
结论:入口是子命令 exec,不是 flag
EOF

关键点:证据要落在项目之外(.scratch/ 这种目录),不要污染正式代码库,但也不要放在会丢的临时目录里。

七、这条方法什么时候不适用

诚实地说,不是所有事都值得取证:

  • 一次性、不可逆性低的事:直接试,错了重来
  • 已经有 L1 证据的重复问题:复用上次结论即可
  • 纯偏好问题:"用 tab 还是空格"不需要证据

判断标准还是回到"错误代价 × 发现难度":两个都高,就必须取证。

结论

一句话概括方法论:把"我以为"换成"我量过"。

具体三条:

  1. 任何要写进文档或影响架构的数字,必须有对应的命令和输出
  2. 看字节,不看渲染
  3. 记版本号,否则结论不可复现

下一步

给自己装一个习惯:写文档时,每个数字后面想想"我是从哪知道的"。如果答案是"某篇总结说的",就去把它降级成 (待核实),然后补一次验证。

这个习惯刚开始会让你写得慢一点。但一个月后你会发现,你的文档里再没有需要撤回的段落——这本身就是最大的效率。