Caveman 评测：真能省 65% token 吗？

Caveman 是今年被分享最多的 Claude Code skill 之一：一条简单的指令，让 agent 用“山顶洞人”的方式回答——没有冠词、没有客套、没有“可能也许”。代码照写，术语照用，只是嘴变小了。

让它爆火的是一个数字：省 65% token。这篇评测查清楚这个数字从哪来、第三方实测发现了什么，以及大多数报道都跳过的一点——它到底对你的账单做了什么。

65% 这个数字从哪来

JuliusBrussee/caveman 的作者把 10 个普通编程问题走了一遍 Claude API，对比开和不开这个 skill 的输出 token，平均省了 65%。但分布很散：

• 实现 React error boundary：省 87%
• 搭 PostgreSQL 连接池：省 84%
• 调 PostgreSQL 竞态：省 81%
• Docker 多阶段构建：省 72%
• 解释 git rebase vs merge：省 58%
• PR 安全审查：省 41%
• 微服务 vs 单体架构：省 30%
• 回调改 async/await：省 22%

规律很诚实也很简单：agent 本来要写小作文的地方，省得多；答案本来就是代码的地方（caveman 从不动代码），省得少。

第三方实测发现了什么

三份独立复测落在同一个、更低的区间：

• Kuba Guzik 做了三臂测试，72 个相同 prompt：caveman 比默认助手省 23%，但比一句“回答简洁”只多省 4%。
• Marco Pillitteri 在编程任务上测出省 12%。
• MayhemCode 记录了一个完整的 Next.js 会话：输出 token 从 11200 降到 8900，省 20%。

作者自己的评测现在也讲类似的故事。仓库自带的评测框架把基线换成了“Answer concisely.”——这才是诚实的基线，因为新模型本来就会简洁。在这个基线之上，/caveman 中位数多省约 3%，/ultracave 多省约 35%。作者也公开承认，真实世界的节省“更接近 20–30%”。

Implicator 的独立分析补上了缺失的账单数学：在典型的 Claude Code 会话里，输出 token 只占总花费的 0.6–2.5%。把这一小块砍 20%，真实账单节省上限约 1–3%。三份独立 benchmark 也确认默认强度下正确率零回归——这个 skill 对自己压缩了什么很诚实。

作者自己披露的 fine print

这个仓库值得夸的一点是，它对自己的局限异常坦率——一篇 dev.to 的实测总结得很好：

• 这个 skill 只缩短输出。输入和推理 token 不变。
• skill 自己的规则每轮对话大约增加 1000–1500 个输入 token。
• 整个会话的节省会低于 benchmark 表格，工作流本来就简洁的话，你甚至可能多花钱。
• README 原话：速度和可读性才是真正的产品，折扣只是 bonus。

最后一句是整个事件里最诚实的一句话。去看 caveman 的对话记录就知道：真正的价值不是那 1–3% 的账单，而是漫长的 agent 会话变得可扫读。以前要略读的状态更新变成一行。值不值每轮 1500 个输入 token，是每个工作流自己的问题，不是一个 headline 数字能回答的。

第二块石头：输入 token

这个项目还长出了第二个值得知道的组件：一个压缩 agent读的东西（而不是写的东西）的 proxy。公开的 CaveBench Wrap benchmark——CSV、日志、YAML、测试输出、JSON 六个 fixture，18 次运行，精确答案校验——报告整个 Claude Code 会话的输入 token 省了 33.2%，18 个答案全对。输入才是账单的大头，这里才是真正有意思的成本工作。注意平均数背后的分布很散（CSV 为主的会话省 55%，没有压缩器的 HTML 会话反而多花 10%），按你自己的文件结构实测为准。

什么时候值得用，什么时候别用

值得试： 来回很多的长 agent 会话、代码审查流水线、CI 周边的自动化——凡是 agent 说得比写得多的地方。/caveman-commit 和 /caveman-review 这两个命令本身就很好用。

别用： 代码为主的会话（代码不动，节省趋近于零）、本来就简洁的工作流、探索性或创意性工作（你想看到模型的完整推理过程）。

有个免费基线：一句“回答简洁”就能拿到大部分收益（记得 Guzik 的 4%）。Caveman 相对它的优势是人格设定——模型对具体角色的服从度高于抽象指令——再加上命令工具。

和 stop-slop 的关系

Caveman 和我们的 stop-slop 远看很像——都在对抗 LLM 默认的啰嗦——但解决的是不同问题。Caveman 让嘴变小：API 少吐 token。Stop-slop 修的是话说出来什么味：去掉写给人看的文字里的 AI 味（“delve”、“在这个快节奏的时代”、满屏的破折号）。一个优化你的 token 账单，一个优化读者的信任。两者可以叠加：agent 会话里跑 caveman，给人看的东西走 stop-slop。

结论

65% 是特定 prompt 集上的真实测量，不是编的——但也不是你的数字。真实会话里预期输出少约 20%、账单少 1–3%、对话记录明显更好读。输入侧的 proxy 是更有意思的长期方向。免费安装、一键卸载，在你自己的工作流上实测成本很低。只是别拿 headline 数字去跟财务汇报。