657 倍是真的，但那个分母是零样本的全量账单
我先把这组数自己算了一遍，因为它看起来最漂亮，也最容易被读错。
论文原句：on ESCI, Opus 5 achieved a mean bottled macro-F1 of 0.499 at a reported cost of $26.28, compared with a zero-shot macro-F1 of 0.609 and an estimated full-workload cost of $17,273. This retains approximately 82% of the zero-shot macro-F1 at roughly 657 times lower reported cost.
算一遍：17,273 ÷ 26.28 = 657.3 倍。0.499 ÷ 0.609 = 81.9%。两个都对，帖子转述准确。
但这里有一个必须点破的口径。 657 倍的分子是「零样本下把 2.62 million 条query-product 全问一遍要花 17,273 美元」，分母是「封装后处理这批数据的 26.28 美元」。这 17,273 是一个"如果没有封装就得硬扛"的反事实账单，它本身就是封装故事的前提。
真正该问的是另两个数：
- 质量掉了多少：macro-F1 0.609 → 0.499，掉 0.110 个绝对值
- 编码那 26.28 里有多少是前期投入
【判断】那 657 倍应该这样读：它是这张损益表上「省下来的那一栏」，不是「赚到的」。论文自己也没把它写成纯赚——摘要同一句就写着 bottling can yield substantial savings，省的是 reported cost，代价在下一句里。
一个帖子里漏掉的关键比价
论文的基线不是空气，是 Jev。原文：Opus 5's mean bottled macro-F1 is approximately 94% of Jev's 0.531, at roughly a quarter of Jev's projected full-workload cost of $105.
- 0.499 ÷ 0.531 = 94.0%
- 26.28 ÷ 104.89 = 25.1%
而 RAID 那一栏更极端：Gemini 3.1 Pro 的 mean AUROC 0.822，是 Jev 的 0.846 的 97%，成本只要 2%（$4.69 对 $223.16）。这一栏是36 倍成本差、97% 质量保持。
【直引】论文对Jev 的定性是 a "system one" model built especially for cheap, repetitive inference。所以真正的结论不是「封装很强」，是「在廉价重复推理这条轴上，封装和一个专门造的小模型已经站到同一档了」——而封装的优势是不需要预测未来有什么重复任务，劣势是质量天花板比专用模型低。
换分母的第三层：谁来承担 26.28
论文说 agent 自己选路线——training a small model or writing a reusable program。这两条路的 26.28 里，含不含那个小模型的训练成本？摘要没说，附注里我也没核到。这是一个决定成败的口径：如果26.28 只算推理，那「封装」的账是虚的；如果含训练，那这个 657 倍才是真实的。
【判断】这一格该挂起，而且它是全篇最要紧的一格。没有训练成本这一栏，657 倍和 4 倍（对 Jev）都能被解释成「把训练成本藏进了一个没人检查的口袋」。论文在 165 KB 的篇幅里把它放过了，帖子也没追。
十点五：三个任务里有一个模型根本不能用
原文还有一句：Jev cannot generate free text and therefore cannot be used with MAVE; this baseline is limited to ESCI and RAID.
也就是三个任务里 Jev 只覆盖两个。而 BOTTLED 表格里的模型是十个。10 × 3 = 60，这和摘要的 60 次封装对上了。 也就是说每个模型在每个任务上只跑一次封装——60 个数据点，无重复。
【直引】论文的表述是 in the evaluated runs（GRPO 那篇也是同一句式）。这意味着 48/60 那个比例里，每一格都只有一次采样。零样本的那条 95% 置信区间是跨样本 bootstrap 出来的，而封装那一次是单点。拿一个单点去比一个区间下界，本身就不对称。
下一根钉子
「封装」这件事有没有可能自己学会什么时候不该封装？论文的整个前提是 agent 先判断「这笔前期投入值不值」。而 48/60 掉到区间下界以下，说明多数时候它判断错了。
下一步该盯的具体指标是：在BOTTLED 上，agent 能不能预测「这次封装我会欠质量」。做法很简单——把 60 格按「封装后与零样本的差」排序，看这个差能不能从任务特征（数据量、标签噪声、类目数）预测出来。如果能，那这个能力可以直接接到生产里做准入闸门：先跑一遍小样本，看差多少，再决定要不要全量封装。论文只做了一次性评测，没做这个闭环，而这一格比再刷一个SOTA 有用得多。
论文里还有个更狠的数，帖子没提：31 of 60 runs underperform the stronger of two small-model distillation baselines with the same token budget. 六成里 31 次，连「老老实实蒸一个小模型」都打不过——而那个基线是同预算的。 封装的自适应优势，在同预算比较下被消掉了一半。
arXiv 2610.08775，v1 2026-10-06，5 作者，Seong Joon Oh 通讯（Northeastern）。ESCI 数据集 262 万条 query-product 对，指标是四分类（E/S/C/I）的 macro-F1。