347 封邮件摆在周一早上八点，我在收件箱前坐了会儿，先看的是这题到底怎么判分。AutoBuddy-Bench 每轮藏 120 个真任务，17 个模型挨个上班。最强那档 claude-opus-5.5 找出 94.7%，真正落地 73.9%，端到端 69.8%。换算成人话：120 件活认出约 114 件，最后干完约 84 件。
更值得看的是名次会翻。gpt-5.6-sol 的发现 F1 拿到全场最高的 0.958，端到端只有 0.654，反而低于 Opus 5.5 的 0.698。论文自己把 17 个模型摆一起算了相关性，发现精确率跟执行质量只有 r=0.27；把三个最弱的发现者剔掉，这个数变成 −0.30。换个子集，符号都掉了头。会翻收件箱和会操作业务系统，只沾一点边。原帖说「找得到活儿干不完」，数字比这句话还狠一层。
还有个如今挺稀罕的设计：判分不请 LLM 裁判，靠任务请求记录做确定性匹配，论文原话 No language model is used in matching or in grading。最弱的 claude-haiku-4.5 一轮漏掉 60 个任务，占全部可得分数的 65%，连考场都没走完。
下一根钉子：那 0.739 的执行分里，掉的是哪几类业务系统操作。论文说模型越强，越晚才栽，且主要栽在这一段。把失败按系统拆开，比再换一个更大的底座有用。