token 黑洞:四个让账单翻倍的坏习惯,附实测账本
把一次真实会话的 token 账本拆开,找出四个最常见的浪费来源:一次一问、全量读文件、工具输出不裁剪、长会话不压缩,每项给出可量化的节省办法。
我把一次真实多轮会话的用量统计拉出来看,第一反应是不敢相信:输入 2.01 M token,输出 11.5 K token。比例 175:1。
也就是说,钱几乎全部花在"让模型反复读上下文"上,而不是"让它写东西"。这篇文章拆四个最常见的浪费源,每个都给实测数字。
一、先看账本长什么样
这是一次 18 个请求的真实统计:
总输入 2.01 M token
其中命中缓存 1.88 M token → 命中率 93.7%
总输出 11.5 K token
未命中 127.0 K,拆成两块:
新增内容 68.7 K (每请求平均新增 3.8 K)
无法归因的丢失 58.2 K (稳定前缀未命中:TTL 过期/淘汰/客户端改写)还有一行更关键的:单次请求的输入从 67.0 K 一路涨到 130.7 K。
这就是黑洞的物理形态:会话末尾的每一次请求,都在为前面所有内容重新付费。哪怕 93.7% 命中缓存,剩下 6.3% 也是按未命中价计的。
二、坏习惯 1:一次只问一句
反例:
codex exec "这个文件里 loadConfig 干什么"
codex exec "那它被谁调用"
codex exec "它抛什么错"每次调用都要重新装载系统提示词 + 工具定义。前面实测过,Codex 的固定开销约 25 秒。三次 = 75 秒纯浪费,token 上也要付三份系统提示词。
改成一次问完:
codex exec -s read-only "读 src/config.ts,一次答完:\
1) loadConfig 职责 2) 调用方(grep 找) 3) 可能抛的错误"实测收益:固定开销从 3 份降到 1 份。按每份约 3~5 K token 的系统提示词估算,省 60~70%。
三、坏习惯 2:全量读文件找一行
这个坑我用真实文件量化过。有个 54,586 字节、785 行的 markdown,我只想找含 BOM 的行:
BIG=某份 785 行文档.md
wc -c "$BIG" # 54586
grep -c 'BOM' "$BIG" # 14 行命中
grep 'BOM' "$BIG" | wc -c # 1525 字节差距是 54,586 vs 1,525 字节,约 36 倍。
如果直接把文件喂给模型,你付的是 54 KB;先 grep 再只给命中的 14 行,付 1.5 KB。
这不是"省一点",是数量级差异。规则很简单:
先搜索定位,再读片段。永远不要为了找一行而读整个文件。
对应的工具选择:
| 目的 | 别用 | 用 |
|---|---|---|
| 找哪个文件含某字符串 | 读每个文件 | grep -rl |
| 找某文件第几行 | 读全文 | grep -n |
| 看某个函数实现 | 读整个模块 | sed -n '120,180p' |
| 确认文件是否存在 | cat | test -f |
四、坏习惯 3:工具输出不裁剪
这是最大的一块,也是最容易忽略的。
一次 ls -R 在大项目里能吐几千行;一次测试失败能吐几百行堆栈;一次 git log 默认就是几十行。这些全部进上下文,而且每轮都要重读。
我自己的真实翻车:有一次列目录,命令返回了 168 万字节的输出,被自动落到 spill 文件里。那一次光是这一条工具结果,就吃掉了巨量上下文。
正确做法是从源头裁剪:
# 反例
ls -R src/
# 正例:只拿需要的部分
ls -1 src/*.ts | head -40
find src -name '*.ts' -type f | wc -l # 只要数量就要数量
git log --oneline -5 # 明确条数
pytest -q 2>&1 | tail -30 # 只要尾部三个具体规则:
- 列表类命令永远带
head/-1 - 失败输出只要尾部(
tail -30),因为关键错误在最后 - 大结果先落文件,再 grep 文件,不要让原始输出进对话
五、坏习惯 4:长会话不做压缩
回到那个数字:单次输入从 67 K 涨到 130 K。如果这次会话继续下去,会涨到 200 K、300 K……
命中率 93.7% 看起来很好,但未命中的绝对量在涨。而且缓存有 TTL——实测到过一次 58.2 K 的"稳定前缀未命中",没有模型切换、没有重启,就是缓存过期了。这类开销无法通过写好提示词省掉。
能做的只有三件事:
| 手段 | 效果 | 代价 |
|---|---|---|
| 压缩已完成的历史段 | 直接砍掉重读量 | 细节会丢,需要时得解压 |
| 拆成多个短会话 | 每个会话基数小 | 跨会话要手动传上下文 |
| 把结论落成文件 | 下个会话读文件,不读历史 | 需要自己维护文件 |
我现在的做法是第三条为主:长任务做到一半,把关键结论写成一份 md,然后开新会话读那份 md。这样新会话的起点是 2 KB 而不是 130 K。
六、四个坏习惯的合计账
用一次典型任务(改 5 个文件、跑 3 轮测试)估算:
| 习惯 | 单次浪费量级 | 修复难度 |
|---|---|---|
| 一次一问 | 2 倍固定开销 | 低,改提问方式 |
| 全量读文件 | 10~36 倍读量 | 低,换成 grep |
| 工具输出不裁剪 | 5~100 倍 | 低,加 head/tail |
| 长会话不压缩 | 随轮数线性增长 | 中,需要建立习惯 |
前三项都是改一个写法就能拿到数量级收益的,没有理由不做。
我当时以为:token 花得多是因为任务难,模型思考得多。 实际是:任务难度影响的是输出(占比 <1%),浪费全部发生在输入侧的重复读取。
七、一个立刻能做的检查
下次会话结束,问自己三个问题:
1. 有没有哪次工具调用,输出超过 200 行?
2. 有没有哪个文件,我是"整个读完"但只用了其中一段?
3. 这次会话发了多少个请求?单次输入从多少涨到多少?三个里有一个"是",你就有明确的优化点了。
结论
省钱的主战场不在"让模型少说两句"——输出只占 1%。在**"少发请求、少带历史、少塞原始输出"**。
一句话总结:你付的不是生成费,是重读费。 想清楚这一点,很多习惯自然会改。
下一步
我建议做一个为期一周的基线记录:每次会话记下请求数、总输入、命中率。一周后你会看到自己的真实分布——多数人会发现自己的钱有一半花在"读了不该读的东西"上。这个数字比任何优化技巧都有说服力。