长会话 token 经济学:把 120KB 记忆砍到 18KB

一份自动化执行记忆涨到 120161 字节、1096 行,每次执行都要全量读一遍。我做了三轮裁剪,把常驻上下文压到 18KB,同时保住了全部「下次务必做」。

目录
  1. 先算清楚:什么在反复花钱
  2. 第一轮:把"流水账"和"结论"拆开
  3. 第二轮:给"下次务必做"编号并去重
  4. 第三轮:把"长文档"改成"指针 + 按需读"
  5. 一个我一开始算错的账
  6. 压缩工具用起来是什么感觉
  7. 复盘

先说结论:我有一份文件,1096 行、120161 字节,是某个定时任务每次执行前必须读的记忆。它每天被完整读一遍——不管内容有没有变化。

这不是个例。同一天我在会话里看到自己的上下文分布是这样:

text
CONTEXT BREAKDOWN
  30.6K tool (82%) | 6.6K text (18%)

82% 的上下文是工具输出。 而工具输出里,很大一部分是"读文件读出来的旧内容"。

这篇记录我做的三轮裁剪,以及一个我一开始算错的账。

先算清楚:什么在反复花钱

把常驻上下文拆开看,我的项目里有四类:

文件体量读取频率年化成本倍数
automations/<uuid>/memory.md120161 字节 / 1096 行每次执行(工作日)极高
科技板块恐慌指数PI_完整技术文档.md46151 字节 / 830 行按需中
_pi_report.py46773 字节 / 865 行改代码时中
MEMORY.md4101 字节 / 79 行每次新会话低

第一行那个文件是最贵的。按工作日算,一年约 250 次执行,每次读 120KB —— 光这一个文件,一年就是 30MB 的输入。而它 90% 的内容是三个月前的历史复盘,对今天毫无用处。

反观 MEMORY.md:只有 4101 字节,但它是"第一入口",含定义、禁令、结论。单价低、频率高、信息密度高——这才是常驻文件的正确形态。

第一轮:把"流水账"和"结论"拆开

原来那份 1096 行的记忆,结构是"每次执行追加一段"。问题在于它把两样东西混在一起:

text
## 2026-10-09 21:00(工作日首跑)
- 状态:脚本 exit 0;成功推送企微(success: true,正文 2557/20480 字节)
- 当日读数:科创50 B=64.6【恐慌】P82;创业板指 B=72.0【极度恐慌】P92
- 踩坑:指数缓存陈旧被误判成非交易日
- 下次务必做:跑前先比对 data/cache/index_daily/ 末日与今日

「当日读数」这一行是流水,三个月后完全无用。「踩坑」和「下次务必做」是结论,永久有效。

所以第一轮裁剪的规则是:

text
保留(进常驻区):踩坑、下次务必做、根因结论、硬性边界
丢弃(进冷存档):当日读数、文件清单、字节数、执行耗时

结果:1096 行 → 约 200 行。丢掉的全是能重算出来的东西(读数在 CSV 里,文件清单 ls 就有)。

第二轮:给"下次务必做"编号并去重

裁完之后发现一个新问题:同样的话被写了三遍。比如"跑前先比对缓存末日"这条,在 10-09 首跑、10-09 21:20 重跑、10-20 又一次执行里各写了一遍,措辞还略有不同。

人的记忆会重复,文件的记忆不该重复。所以我改成编号规则:

text
R1  跑前比对 data/cache/index_daily/ 末日与今日,不一致用新浪源补齐
R2  QVIX 滞后时照实标注数据日,不虚构当日值
R3  A/B 差值不得当作当日冲击
R4  wecom-cli 在 subprocess 里必须走 node.exe 底层入口
R5  推送失败如实上报,不重试轰炸

编号之后有一个意外收获:新踩的坑能一眼看出是不是重复的。如果新坑能归到 R1~R5 里,说明是老毛病复发,不是新问题——这本身就是重要信息。

第三轮:把"长文档"改成"指针 + 按需读"

第三轮裁的不是记忆,是那个 830 行的技术文档。

我原来的 prompt 里写着"先读技术文档再动手"。这句话的实际成本是:每次执行读 46151 字节。

改成指针之后:

text
MEMORY.md(79 行,常驻)
  ├── 定义与公式(12 行,内联)
  ├── 三条核心结论(内联)
  ├── 五条硬禁令(内联)
  ├── 数据源要点(内联)
  └── 「细节读 tpi_tech/科技板块恐慌指数PI_完整技术文档.md(652 行)」
        ↑ 只在需要查 §12 踩坑清单 或 §13 增补 时才读
        ↑ 注意:指针写的是 652 行,我实测 wc -l 是 830 行——索引本身也会过期

这就是 MEMORY.md 第一行那句话的真实含义:

本文件是恢复上下文的第一入口。新会话先读这里,细节读 tpi_tech/科技板块恐慌指数PI_完整技术文档.md(652 行,完整版)。

"第一入口"不是修辞,是分层设计。 常驻的只有索引,正文按需加载。

一个我一开始算错的账

前三轮做完,我以为收益主要来自"少读字节"。后来发现真正的大头在别处。

当时我的算法是:

text
错误算法:省下的字节数 × 执行次数
  120KB → 18KB,省 102KB × 250 次 = 25.5MB

看起来很可观,但漏了一件事:上下文里的旧内容会一直留在后续每一轮里。 一个早读进来的 120KB 文件,不是"花一次钱",而是在这一轮对话的每一次模型调用里都重新计费一次。

真实的成本模型接近:

text
实际成本 ≈ 文件大小 × 该文件存活的轮数
而不是 文件大小 × 读取次数

所以"晚读"和"少读"价值相当,甚至"晚读"更值——因为晚读省下的是剩余所有轮次。

这直接改变了我的一条习惯:能放到最后读的,绝不放到开头读。 比如构建校验的日志,我不再在任务开始时读一遍"了解现状",而是等改完再读一次。

压缩工具用起来是什么感觉

我这个环境里有一套上下文压缩机制,可以把历史区间折叠成摘要。实际用下来的体感是:

text
压缩 87 条消息(约 53.6K)→ 一条摘要
好处:后续每一轮都少带 53.6K
代价:摘要里丢掉的东西,只能靠 decompress 找回来

关键判断是**"这段内容以后还要不要精确引用"**:

内容类型该不该压理由
探索过程中的目录列表、grep 结果压事实已提取,原文无用
报错原文、命令原文不压后面要逐字引用
契约文件(CONTENT-SPEC 之类)不压全程都要对照
已完成的子任务过程压只留结论

我踩过一次坑:把一段含报错原文的记录压掉了,后面写文章要引用"原文"时只能凭印象重写,差点写出一个不存在的报错。凡是要逐字引用的,一律不压。

复盘

三轮裁剪之后,那份 120KB 的记忆变成 18KB 左右,同时 R1~R5 五条规则一条没丢。现在每次执行读的是规则,历史在需要时用 grep 现查。

三条我会坚持的:

  1. 常驻文件只放"每次都要用的结论",历史上限 100 行。超了就往下拆。
  2. 流水和结论必须物理分开。混在一起的记忆,三个月后必然变成噪音。
  3. 能晚读就晚读。成本跟"存活轮数"成正比,不是跟"读取次数"成正比。

下一步想验证一个更激进的方案:把自动化记忆做成"规则文件 + 事件日志"两个文件,规则文件恒定为 5KB 以内,事件日志只 grep 不读全文。这样常驻部分就彻底不随执行次数增长了。

至于整体预算,我在项目规划文档里估的是 28 篇文章约 100~180 万 token。这个数字当时是拍脑袋,现在有了上面这套成本模型,等这一批写完可以回头校准一次——不过那要等下个阶段了。