同一句提示词,25 秒和 60 秒的差距:模型与客户端的成本结构拆解
用同一句提示词实测不同客户端的墙钟差异,并拆解一个真实会话的缓存命中账本,说明延迟到底花在哪、token 到底被谁吃掉。
"哪个模型快"这个问题本身是问错的。快的不是模型,是模型 + 客户端 + 缓存状态的组合。这篇文章用两个可复现的测量把这个组合拆开。
一、测量方法:把变量压到最少
要测延迟,就得让模型几乎不干活。我用的提示词是"回答两个字:好的"——输出 2 个汉字,排除了生成长度的影响:
# 同一台机器、同一天、同一个目录
cd /d/new/.scratch/p4
s=$(date +%s%N)
codex exec --skip-git-repo-check -s read-only "回答两个字:好的" > out.txt 2> err.txt
e=$(date +%s%N)
echo "wall=$(( (e-s)/1000000 ))ms"结果:
| 客户端 | 命令 | 输出 | 墙钟 |
|---|---|---|---|
| codex-cli 0.169.1 | codex exec -s read-only | 好的 | 25.5 s |
| claude 2.1.327 | claude -p | 好的 | 60.6 s |
同样两个字,差 2.4 倍。这不是模型算力差异——2 个 token 的推理在任何模型上都是毫秒级。差额花在客户端自己的预处理上:读配置、拼系统提示词、装载工具定义、建连接、可能还有一轮额外的规划调用。
我当时以为:这个差距是网络问题,重跑一次就没了。 实际是:两家都稳定复现(Codex 两次 25 s 量级,Claude 一次 60.6 s 未再测),说明是客户端固定开销,不是抖动。
一个直接推论:如果你要做"每个文件调一次 agent"的流水线,50 个文件就是 21 分钟和 50 分钟的差别。 这种场景下客户端选型比模型选型重要得多。
二、拆开一个真实会话的 token 账本
延迟之外是成本。很多人算成本只看"输出多少钱一个字",但真实账单里输出常常只占零头。
我拿一次真实的多轮会话(18 个请求)的统计来拆:
总输入 2.01 M token
其中命中缓存 1.88 M token → 命中率 93.7%
总输出 11.5 K token
未命中部分 127.0 K token,拆成两块:
新增内容 68.7 K (每请求平均新增约 3.8 K)
无法归因的丢失 58.2 K (稳定前缀未命中:上游 TTL 过期 / 淘汰 / 客户端改写)这张表有三个反直觉的地方:
第一,输入是输出的 175 倍。 2.01 M 输入 vs 11.5 K 输出。你以为在付"生成"的钱,其实在付"重读上下文"的钱。
第二,命中率 93.7% 已经算健康,但未命中的 127 K 里有一半找不到原因。 58.2 K 的稳定前缀未命中没有对应的模型切换、没有配置变更、没有重启。这类开销只能靠"别让前缀变化"来省,无法通过优化提示词省掉。
第三,单次请求的输入体量在增长。 从 67.0 K 一路涨到 130.7 K,因为历史在累积。这就是为什么长会话必须做压缩——不是因为"上下文快满了",而是因为每次请求都在为整段历史重新付费(哪怕命中缓存,缓存单价也不是零)。
三、成本结构对照
把这些观察整理成可以拿去做决策的表:
| 成本项 | 由谁决定 | 可优化手段 | 优化空间 |
|---|---|---|---|
| 上下文重读 | 历史长度 × 请求数 | 压缩、裁剪工具输出、拆分会话 | 最大,通常是主项 |
| 缓存未命中 | 前缀稳定性 | 别在开头插变量、别中途换模型 | 中 |
| 客户端固定开销 | 客户端实现 | 换客户端、批量化调用 | 中(可达 2 倍) |
| 输出生成长度 | 提示词 | 要求结构化短输出 | 小(占比常 <1%) |
| 工具调用轮次 | 任务复杂度 | 一次给全信息,减少往返 | 中 |
结论很直接:省钱的主战场在"少发请求、少带历史",不在"让模型少说两句"。
四、一个我改过的坏习惯
以前我习惯这样提问:
# 反例:每次只问一个细节,问完再问下一个
codex exec "这个文件里 loadConfig 干什么"
codex exec "那它被谁调用"
codex exec "它抛什么错"三次调用 = 三次完整的系统提示词 + 三次上下文装载。用上面 Codex 的 25 s 基线算,光固定开销就 75 秒。
改成一次问完:
codex exec -s read-only "读 src/config.ts,回答三件事:\
1) loadConfig 的职责\ 2) 它的调用方(用 grep 找)\ 3) 它可能抛出的错误类型"一次 25 秒级调用拿到同样信息。这个改动的本质不是"提示词写得好",而是把三次固定开销压成一次。
五、延迟的两个陷阱
陷阱一:只看第一次。 前文测过 claude --version:首次 1156 ms,之后 90 ms。如果只测一次,你会得出"Claude 启动要 1 秒"的错误结论。任何延迟测量至少跑 3 次,取稳定值。
陷阱二:把挂起当成慢。 Gemini CLI 在非交互模式下如果授权未完成,会打印一句 [Y/n]: 然后等 stdin。这时候进程不退出、不报错,看起来像"模型在思考"。我这次就是挂了 6 分钟以上才手动 kill。没有超时的测量等于没测量。
# 正确的做法:给每次调用硬超时,且注意 Windows 上 .cmd 垫片的坑
timeout 20 sh -c 'codex --version' # exit=0 正常
timeout 20 codex --version # exit=126,零输出,不可信结论:按场景而不是按榜单选
| 你的约束 | 该优先看什么 | 具体建议 |
|---|---|---|
| 延迟敏感(交互式) | 客户端固定开销 | 选稳态启动快的;别一次只问一句 |
| 成本敏感(批处理) | 上下文重读量 | 压缩历史、拆短会话、限制工具输出 |
| 吞吐敏感(跑量) | 单次请求的 token 效率 | 一次给全信息,减少轮次 |
| 稳定性敏感 | 失败模式是否干净 | 优先选退出码可信的 |
不要直接抄别人的"哪个模型便宜"结论。你的账单结构取决于你的调用形态:一天 3 次长会话和一天 300 次短调用,答案完全相反。
下一步
建议你从下一次会话开始记三个数:请求数、总输入、缓存命中率。攒够一周,你就能算清自己的钱花在"重读"还是"生成"上。我赌是重读——因为我自己两次实测都是 99:1 的比例。