token 黑洞:四个让账单翻倍的坏习惯,附实测账本

把一次真实会话的 token 账本拆开,找出四个最常见的浪费来源:一次一问、全量读文件、工具输出不裁剪、长会话不压缩,每项给出可量化的节省办法。

目录
  1. 一、先看账本长什么样
  2. 二、坏习惯 1:一次只问一句
  3. 三、坏习惯 2:全量读文件找一行
  4. 四、坏习惯 3:工具输出不裁剪
  5. 五、坏习惯 4:长会话不做压缩
  6. 六、四个坏习惯的合计账
  7. 七、一个立刻能做的检查
  8. 结论
  9. 下一步

我把一次真实多轮会话的用量统计拉出来看,第一反应是不敢相信:输入 2.01 M token,输出 11.5 K token。比例 175:1。

也就是说,钱几乎全部花在"让模型反复读上下文"上,而不是"让它写东西"。这篇文章拆四个最常见的浪费源,每个都给实测数字。

一、先看账本长什么样

这是一次 18 个请求的真实统计:

text
总输入      2.01 M token
其中命中缓存 1.88 M token   → 命中率 93.7%
总输出      11.5 K token

未命中 127.0 K,拆成两块:
  新增内容        68.7 K   (每请求平均新增 3.8 K)
  无法归因的丢失  58.2 K   (稳定前缀未命中:TTL 过期/淘汰/客户端改写)

还有一行更关键的:单次请求的输入从 67.0 K 一路涨到 130.7 K。

这就是黑洞的物理形态:会话末尾的每一次请求,都在为前面所有内容重新付费。哪怕 93.7% 命中缓存,剩下 6.3% 也是按未命中价计的。

二、坏习惯 1:一次只问一句

反例:

bash
codex exec "这个文件里 loadConfig 干什么"
codex exec "那它被谁调用"
codex exec "它抛什么错"

每次调用都要重新装载系统提示词 + 工具定义。前面实测过,Codex 的固定开销约 25 秒。三次 = 75 秒纯浪费,token 上也要付三份系统提示词。

改成一次问完:

bash
codex exec -s read-only "读 src/config.ts,一次答完:\
1) loadConfig 职责 2) 调用方(grep 找) 3) 可能抛的错误"

实测收益:固定开销从 3 份降到 1 份。按每份约 3~5 K token 的系统提示词估算,省 60~70%。

三、坏习惯 2:全量读文件找一行

这个坑我用真实文件量化过。有个 54,586 字节、785 行的 markdown,我只想找含 BOM 的行:

bash
BIG=某份 785 行文档.md
wc -c "$BIG"        # 54586
grep -c 'BOM' "$BIG"    # 14 行命中
grep 'BOM' "$BIG" | wc -c   # 1525 字节

差距是 54,586 vs 1,525 字节,约 36 倍。

如果直接把文件喂给模型,你付的是 54 KB;先 grep 再只给命中的 14 行,付 1.5 KB。

这不是"省一点",是数量级差异。规则很简单:

先搜索定位,再读片段。永远不要为了找一行而读整个文件。

对应的工具选择:

目的别用用
找哪个文件含某字符串读每个文件grep -rl
找某文件第几行读全文grep -n
看某个函数实现读整个模块sed -n '120,180p'
确认文件是否存在cattest -f

四、坏习惯 3:工具输出不裁剪

这是最大的一块,也是最容易忽略的。

一次 ls -R 在大项目里能吐几千行;一次测试失败能吐几百行堆栈;一次 git log 默认就是几十行。这些全部进上下文,而且每轮都要重读。

我自己的真实翻车:有一次列目录,命令返回了 168 万字节的输出,被自动落到 spill 文件里。那一次光是这一条工具结果,就吃掉了巨量上下文。

正确做法是从源头裁剪:

bash
# 反例
ls -R src/

# 正例:只拿需要的部分
ls -1 src/*.ts | head -40
find src -name '*.ts' -type f | wc -l       # 只要数量就要数量
git log --oneline -5                        # 明确条数
pytest -q 2>&1 | tail -30                   # 只要尾部

三个具体规则:

  1. 列表类命令永远带 head/-1
  2. 失败输出只要尾部(tail -30),因为关键错误在最后
  3. 大结果先落文件,再 grep 文件,不要让原始输出进对话

五、坏习惯 4:长会话不做压缩

回到那个数字:单次输入从 67 K 涨到 130 K。如果这次会话继续下去,会涨到 200 K、300 K……

命中率 93.7% 看起来很好,但未命中的绝对量在涨。而且缓存有 TTL——实测到过一次 58.2 K 的"稳定前缀未命中",没有模型切换、没有重启,就是缓存过期了。这类开销无法通过写好提示词省掉。

能做的只有三件事:

手段效果代价
压缩已完成的历史段直接砍掉重读量细节会丢,需要时得解压
拆成多个短会话每个会话基数小跨会话要手动传上下文
把结论落成文件下个会话读文件,不读历史需要自己维护文件

我现在的做法是第三条为主:长任务做到一半,把关键结论写成一份 md,然后开新会话读那份 md。这样新会话的起点是 2 KB 而不是 130 K。

六、四个坏习惯的合计账

用一次典型任务(改 5 个文件、跑 3 轮测试)估算:

习惯单次浪费量级修复难度
一次一问2 倍固定开销低,改提问方式
全量读文件10~36 倍读量低,换成 grep
工具输出不裁剪5~100 倍低,加 head/tail
长会话不压缩随轮数线性增长中,需要建立习惯

前三项都是改一个写法就能拿到数量级收益的,没有理由不做。

我当时以为:token 花得多是因为任务难,模型思考得多。 实际是:任务难度影响的是输出(占比 <1%),浪费全部发生在输入侧的重复读取。

七、一个立刻能做的检查

下次会话结束,问自己三个问题:

text
1. 有没有哪次工具调用,输出超过 200 行?
2. 有没有哪个文件,我是"整个读完"但只用了其中一段?
3. 这次会话发了多少个请求?单次输入从多少涨到多少?

三个里有一个"是",你就有明确的优化点了。

结论

省钱的主战场不在"让模型少说两句"——输出只占 1%。在**"少发请求、少带历史、少塞原始输出"**。

一句话总结:你付的不是生成费,是重读费。 想清楚这一点,很多习惯自然会改。

下一步

我建议做一个为期一周的基线记录:每次会话记下请求数、总输入、命中率。一周后你会看到自己的真实分布——多数人会发现自己的钱有一半花在"读了不该读的东西"上。这个数字比任何优化技巧都有说服力。