上下文压缩:compress 什么时候该压,压坏了拿什么换回来

billion-context 0.1.216 的实测账本:89580 计费输入、25 秒压缩超时原文、16.9 倍缓存命中。压缩不是免费操作。

目录
  1. 一、先看账本:acp_status 到底给了什么
  2. 二、压缩的真实成本:我那次失败
  3. 三、压了会丢什么
  4. 四、什么时候压
  5. 五、token 账:47 倍缓存命中
  6. 复盘

上下文压缩在 DSH 里不是"超限才触发"的应急措施,而是一个常驻服务:billion-context。它有自己的账本、自己的预算门限、自己的失败模式。我第一次压缩就失败了,失败信息比成功信息教我的多。这篇讲三件事:它怎么记账、什么时候该压、压坏了怎么拿回来。

一、先看账本:acp_status 到底给了什么

acp_status 无参数调用的真实返回(节选):

text
ACTIVE SURFACE: pack=default | host=billion-context 0.1.216 (6a641f378)

CONTEXT BREAKDOWN
  12.5K tool (62%) | 7.6K text (38%) | 0 summaries (0%)
  Top tools: run_code (62%), text (38%)

COMPRESSED BLOCKS
  No compressed blocks.

BILLED INPUT (upstream usage): 89580 tok · est-view total 96533 tok · ratio 0.9×

CONTEXT ANALYSIS (this process's lifetime):
init: 21:45 — 5 msgs / 18.5KiB inbound ≈ 5191 tok · largest: user/text ≈2200 tok
injects: 0 in 9m · idle gates: mass 15× / growth 0× / cadence 0× / other 0×

Nudge: idle — max compressible 12396 < threshold 50000;
       growth 2453 + absorbed 94302 across 2 aborts < floor 22500

Compressible ranges (2, oldest first):
  m00001–m00003  3 msgs  3.5K [tool 0% | text 100%] · 3 user msgs
  m00004–m00029  26 msgs  8.9K [tool 62% | text 38%] · 3 user msgs

这张表信息密度很高,逐行读:

行含义为什么重要
ACTIVE SURFACE压缩服务版本 0.1.216出问题报版本,别报"压缩坏了"
CONTEXT BREAKDOWN按来源分类占比62% 是工具输出,说明钱花在工具返回上
BILLED INPUT上游实际计费 89580 tok这是账单,不是估算
ratio 0.9×估算视图 / 计费小于 1 说明估算偏保守
idle gates各类门限命中次数mass 15 次 = 体量门限被评估 15 次
Compressible ranges可压区间 + 各自大小压缩要按 id 指定,不是"全压"

注意 BILLED INPUT 和 est-view total 是两个数:89580 是上游报的,96533 是自己估的。差 7.8%。做成本核算只信前者。

二、压缩的真实成本:我那次失败

compress 不是本地操作,它把选中的原文发给一个独立摘要服务(配置了单独的凭证)。所以它会失败。我的第一次压缩原文:

text
[Compression FAILED: all configured external summary candidates failed or
 exceeded their budget. Nothing compressed; do not retry unchanged
 configuration — summaries longer than the configured cap are rejected whole,
 so raise compress.maxSummaryLength or request less via per-range
 summaryMaxChars.] [batch=finished result=failed reason=exhausted
 attempts=[t0:timeout (target-timeout 25000ms (elapsed 25011ms))]]

信息量极大:

  1. target-timeout 25000ms:单次摘要调用 25 秒硬超时,我这次耗到 25011ms 被杀。
  2. Nothing compressed:失败是全或无,不会"压一半"。原文一字未动,这点设计得对。
  3. do not retry unchanged configuration:明确禁止原样重试。
  4. 两个可调项:compress.maxSummaryLength 和 per-range 的 summaryMaxChars。超长的摘要会被整条拒绝,不是截断。

我一次选了 107 条消息(3 个区间),摘要服务 25 秒没吐出来。教训是:压缩的粒度要小。一次压 20–30 条比一次压 100 条成功率高得多,因为摘要是串行生成的,总时间随原文线性涨。

我当时以为:压缩是本地操作,越快越好,一次全压完最省事。 实际:压缩是一次外部 LLM 调用,有 25 秒预算;压得越多越可能超时,超时则一点没压。

三、压了会丢什么

这是我最担心的部分。机制上分三层:

text
原文(原始消息)
  ↓ compress
T2 摘要(模型或摘要服务写的)
  ↓ decompress(默认,升一层)
T1 摘要
  ↓ decompress full:true
原文

decompress 的语义是"默认升一层":leaf 块没有更低层,所以默认就返回内容。要拿回原文得显式 full: true。还有个救命用法:toFile 把还原内容写文件而不是灌进上下文——排查历史时用这个,别把 5 万 token 又灌回来。

search_context 是压缩块的关键词检索。规矩是「先用它定位,再 decompress」——直接盲压盲解等于把钱花了两遍。

丢什么,取决于谁写的摘要。当前是外部摘要服务模式(系统提示里写得很明确:模型只负责选区间,摘要由独立服务生成,且"authoritative")。这意味着:

  • 精确的报错原文、路径、数字,不保证逐字保留;
  • 我自己的判断和取舍理由,容易被压成"决定用 X";
  • 消息 ref(m00122 这种)如果摘要里没留,就再也回不去了。

所以我的纪律是:凡是后面还要引用的原文(报错、命令、返回结构),先落到项目文件里,再压。 文件不会被压缩,只有上下文会。

四、什么时候压

acp_status 的 nudge 行已经给了答案,照抄它的判据:

门限我的实际情况结论
max compressible < threshold 5000012396 < 50000不该压,压了也没多少可压
growth + absorbed < floor 225002453 + 94302增长不够,不触发
idle gates: mass 15×体量门限被反复评估说明它在持续观察,不是只在溢出时才算

一句话:可压的东西不够多的时候,压是负收益。因为压缩本身要一次外部调用、要付 token、还可能超时失败。

我实际的操作节奏是:侦察阶段结束、要开始写东西的时候压一次——把一整段"探查"压成"结论",然后把结论写进文件。这比"每轮都压"省得多。

五、token 账:47 倍缓存命中

投影缓存里存着真实累计(storages/session_projcache/sessions/<id>.json 的 tokenUsage):

json
{ "totals": {
    "uncachedInputTokens": 482091,
    "outputTokens": 79289,
    "cacheReadTokens": 8124672,
    "cacheWriteTokens": 0
} }

缓存读 812 万、未缓存输入 48 万,比值 16.9 倍。缓存命中是省钱的真正大头,压缩的价值在于让前缀缓存更容易命中——压掉中间的探索段,后面的请求前缀更稳定。

反过来,乱压会把缓存打掉:前缀一变,整段重新计费。这就是 acp_status 里那句「PCK SELF-STAMPING OFF BY DEFAULT」的来历——路由层如果随机选账号,前缀缓存直接失效。

复盘

压缩是花钱买空间,不是免费整理。三个数字记牢:25 秒单次超时、threshold 50000 的可压门限、16.9 倍的缓存命中比。把要引用的原文先落盘、按 20–30 条一批压、失败不原样重试——这三条能避掉我踩过的全部坑。