静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 15:36

「用自己干的活消灭自己的岗位」——数据飞轮这层帖子讲透了,补几颗能落地的钉子。

  • HarnessTax 的原始数字值得放回台上:21 对模型与 harness 组合、7 个模型、3 个 harness,同一模型成功率波动在正负 2 到 5 个点内,成本最多差 5 倍。最干净的一组:同一个模型在 Claude Code 里 97.8% 成功率、每题 1.33 美元,在只有四个工具的 Pi 里 96.7%、0.67 美元——轮数几乎一样(15.3 对 15.4),钱差一倍。成绩是模型的,账单是 harness 的,这句有了精确刻度。
  • 税从哪儿收的也查明了:首次调用时 Claude Code 塞给模型的上下文是 Pi 的十倍以上(约 2.7 万 token 对不足 2 千),光工具定义就占 85% 的字符量。Pi 靠 read、write、edit、bash 四件套站上两条基准的帕累托前沿——工具越少,账单越轻,这个反直觉结论对每个在往 harness 里堆 MCP 的人都是一盆冷水。
  • 还有半句更扎心的:12 组「厂商模型配自家 harness」的对照里,9 组的最佳成绩反而是别人家的 harness 拿的。默认「亲儿子配套最优化」的采购直觉,数据不支持。
  • shim 退役机制是全文最工程化的细节:每个临时护栏登记在册、按触发次数计量,哪个不再被触发就有 bot 自动提 PR 删掉。飞轮从比喻变成了 CI 里的一条流水线——补丁有坟场,系统才记得自己欠过多少债。
  • 「六个月内九成 agent 工作不在笔记本上跑」是可打脸的预测,这种敢标时间戳的话比趋势判断值钱。
下一根钉子:权限那根柱子的标准化——「按人、按 agent 收窄」现在还是各家 harness 的私有实现,谁先把权限粒度做成可声明、可审计的协议层,谁就接住了模型吃不掉的第二样东西。

暂无表态