同一句提示词,25 秒和 60 秒的差距:模型与客户端的成本结构拆解

用同一句提示词实测不同客户端的墙钟差异,并拆解一个真实会话的缓存命中账本,说明延迟到底花在哪、token 到底被谁吃掉。

目录
  1. 一、测量方法:把变量压到最少
  2. 二、拆开一个真实会话的 token 账本
  3. 三、成本结构对照
  4. 四、一个我改过的坏习惯
  5. 五、延迟的两个陷阱
  6. 结论:按场景而不是按榜单选
  7. 下一步

"哪个模型快"这个问题本身是问错的。快的不是模型,是模型 + 客户端 + 缓存状态的组合。这篇文章用两个可复现的测量把这个组合拆开。

一、测量方法:把变量压到最少

要测延迟,就得让模型几乎不干活。我用的提示词是"回答两个字:好的"——输出 2 个汉字,排除了生成长度的影响:

bash
# 同一台机器、同一天、同一个目录
cd /d/new/.scratch/p4
s=$(date +%s%N)
codex exec --skip-git-repo-check -s read-only "回答两个字:好的" > out.txt 2> err.txt
e=$(date +%s%N)
echo "wall=$(( (e-s)/1000000 ))ms"

结果:

客户端命令输出墙钟
codex-cli 0.169.1codex exec -s read-only好的25.5 s
claude 2.1.327claude -p好的60.6 s

同样两个字,差 2.4 倍。这不是模型算力差异——2 个 token 的推理在任何模型上都是毫秒级。差额花在客户端自己的预处理上:读配置、拼系统提示词、装载工具定义、建连接、可能还有一轮额外的规划调用。

我当时以为:这个差距是网络问题,重跑一次就没了。 实际是:两家都稳定复现(Codex 两次 25 s 量级,Claude 一次 60.6 s 未再测),说明是客户端固定开销,不是抖动。

一个直接推论:如果你要做"每个文件调一次 agent"的流水线,50 个文件就是 21 分钟和 50 分钟的差别。 这种场景下客户端选型比模型选型重要得多。

二、拆开一个真实会话的 token 账本

延迟之外是成本。很多人算成本只看"输出多少钱一个字",但真实账单里输出常常只占零头。

我拿一次真实的多轮会话(18 个请求)的统计来拆:

text
总输入      2.01 M token
其中命中缓存 1.88 M token   → 命中率 93.7%
总输出      11.5 K token

未命中部分  127.0 K token,拆成两块:
  新增内容        68.7 K   (每请求平均新增约 3.8 K)
  无法归因的丢失  58.2 K   (稳定前缀未命中:上游 TTL 过期 / 淘汰 / 客户端改写)

这张表有三个反直觉的地方:

第一,输入是输出的 175 倍。 2.01 M 输入 vs 11.5 K 输出。你以为在付"生成"的钱,其实在付"重读上下文"的钱。

第二,命中率 93.7% 已经算健康,但未命中的 127 K 里有一半找不到原因。 58.2 K 的稳定前缀未命中没有对应的模型切换、没有配置变更、没有重启。这类开销只能靠"别让前缀变化"来省,无法通过优化提示词省掉。

第三,单次请求的输入体量在增长。 从 67.0 K 一路涨到 130.7 K,因为历史在累积。这就是为什么长会话必须做压缩——不是因为"上下文快满了",而是因为每次请求都在为整段历史重新付费(哪怕命中缓存,缓存单价也不是零)。

三、成本结构对照

把这些观察整理成可以拿去做决策的表:

成本项由谁决定可优化手段优化空间
上下文重读历史长度 × 请求数压缩、裁剪工具输出、拆分会话最大,通常是主项
缓存未命中前缀稳定性别在开头插变量、别中途换模型中
客户端固定开销客户端实现换客户端、批量化调用中(可达 2 倍)
输出生成长度提示词要求结构化短输出小(占比常 <1%)
工具调用轮次任务复杂度一次给全信息,减少往返中

结论很直接:省钱的主战场在"少发请求、少带历史",不在"让模型少说两句"。

四、一个我改过的坏习惯

以前我习惯这样提问:

bash
# 反例:每次只问一个细节,问完再问下一个
codex exec "这个文件里 loadConfig 干什么"
codex exec "那它被谁调用"
codex exec "它抛什么错"

三次调用 = 三次完整的系统提示词 + 三次上下文装载。用上面 Codex 的 25 s 基线算,光固定开销就 75 秒。

改成一次问完:

bash
codex exec -s read-only "读 src/config.ts,回答三件事:\
1) loadConfig 的职责\ 2) 它的调用方(用 grep 找)\ 3) 它可能抛出的错误类型"

一次 25 秒级调用拿到同样信息。这个改动的本质不是"提示词写得好",而是把三次固定开销压成一次。

五、延迟的两个陷阱

陷阱一:只看第一次。 前文测过 claude --version:首次 1156 ms,之后 90 ms。如果只测一次,你会得出"Claude 启动要 1 秒"的错误结论。任何延迟测量至少跑 3 次,取稳定值。

陷阱二:把挂起当成慢。 Gemini CLI 在非交互模式下如果授权未完成,会打印一句 [Y/n]: 然后等 stdin。这时候进程不退出、不报错,看起来像"模型在思考"。我这次就是挂了 6 分钟以上才手动 kill。没有超时的测量等于没测量。

bash
# 正确的做法:给每次调用硬超时,且注意 Windows 上 .cmd 垫片的坑
timeout 20 sh -c 'codex --version'   # exit=0 正常
timeout 20 codex --version           # exit=126,零输出,不可信

结论:按场景而不是按榜单选

你的约束该优先看什么具体建议
延迟敏感(交互式)客户端固定开销选稳态启动快的;别一次只问一句
成本敏感(批处理)上下文重读量压缩历史、拆短会话、限制工具输出
吞吐敏感(跑量)单次请求的 token 效率一次给全信息,减少轮次
稳定性敏感失败模式是否干净优先选退出码可信的

不要直接抄别人的"哪个模型便宜"结论。你的账单结构取决于你的调用形态:一天 3 次长会话和一天 300 次短调用,答案完全相反。

下一步

建议你从下一次会话开始记三个数:请求数、总输入、缓存命中率。攒够一周,你就能算清自己的钱花在"重读"还是"生成"上。我赌是重读——因为我自己两次实测都是 99:1 的比例。