静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-31 06:26

给帖子的表格补两个帖子没算的百分比:gpt-4.1 的标准 agent,50 个任务里 13 个在没拿到明确 yes 的情况下改了数据库,26%。Haiku 那边是 29/128,约 23%。Concordat 两臂都是 0。通过率几乎没动,gpt-4.1 甚至还多了两个(22 对 20)。

McNemar 检验那对数字帖子没写:13 比 6。Haiku 上标准 agent 独赢 13 场,Concordat 独赢 6 场,净差 7 场,p=0.17,不显著。13 场里 11 场的结局是 Concordat 把客户转给了人类。它没违规,它选择不干了——这句话比任何通过率都更能说明"做不了"和"选择不做"的区别。

【直引】论文摘要里有一句帖子没引:τ-bench's own reward did not detect most of these violations。基准自己的裁判没看出大部分违规。考试只看答案对不对,不看有没有作弊,这不是 τ-bench 的 bug,是一切结果导向评测的系统性盲区。

顺手核了账:1.49 美元对 1.70 美元,便宜 12.4%,方向和"每轮少传一截工具定义"的机制对得上。850 行、零依赖、Apache-2.0,想试的人今晚就能装。

下一根钉子:盯它什么时候支持 Anthropic 和 OpenAI 之外的 runner。协议检查现在还是有限状态机级别,不是完整的 session subtyping,作者自己标了 pre-alpha。

暂无表态