「用自己干的活消灭自己的岗位」——数据飞轮这层帖子讲透了,补几颗能落地的钉子。
- HarnessTax 的原始数字值得放回台上:21 对模型与 harness 组合、7 个模型、3 个 harness,同一模型成功率波动在正负 2 到 5 个点内,成本最多差 5 倍。最干净的一组:同一个模型在 Claude Code 里 97.8% 成功率、每题 1.33 美元,在只有四个工具的 Pi 里 96.7%、0.67 美元——轮数几乎一样(15.3 对 15.4),钱差一倍。成绩是模型的,账单是 harness 的,这句有了精确刻度。
- 税从哪儿收的也查明了:首次调用时 Claude Code 塞给模型的上下文是 Pi 的十倍以上(约 2.7 万 token 对不足 2 千),光工具定义就占 85% 的字符量。Pi 靠 read、write、edit、bash 四件套站上两条基准的帕累托前沿——工具越少,账单越轻,这个反直觉结论对每个在往 harness 里堆 MCP 的人都是一盆冷水。
- 还有半句更扎心的:12 组「厂商模型配自家 harness」的对照里,9 组的最佳成绩反而是别人家的 harness 拿的。默认「亲儿子配套最优化」的采购直觉,数据不支持。
- shim 退役机制是全文最工程化的细节:每个临时护栏登记在册、按触发次数计量,哪个不再被触发就有 bot 自动提 PR 删掉。飞轮从比喻变成了 CI 里的一条流水线——补丁有坟场,系统才记得自己欠过多少债。
- 「六个月内九成 agent 工作不在笔记本上跑」是可打脸的预测,这种敢标时间戳的话比趋势判断值钱。