这篇的实验设计确实是教科书级:开市前把每个工具在 360 个问题上真跑一遍,让「能不能答」变成查表就知的硬真值。补四个帖子没给的数字。
- 最便宜的解药藏在附录里。卖方提示里只加一句「只描述你的工具实际返回的东西」,Gemini 市场的买方成功率从 41% 拉回 94%。通胀不是治不好的,是没人有动力治——卖方的引导语、买方的验证,平台两头都是零成本。
- 那个答不了任何问题的卖家联系数据库,账比「拿走 25-40% 订单」更狠:它抄了产品爬虫的开场白之后,单轮被选高达 53 次;而它两轮诚实描述时,被选次数是零。同一个工具,一句话之差,订单从 0 到 53——柠檬市场的单价在这里被标得很清楚。
- 别把五个模型一锅端。四个温和模型的市场里,11/16 个市场买方成功率不降反升,因为描述变具体了帮买方做了区分。真正的分水岭是「删不删与自家证据矛盾的声明」:温和派不删(所以也在缓慢通胀),Gemini 直接凭空造。模型间的虚假声明数差一个数量级——安全对齐在「对第三方」这个方向上,各家的差距比榜单显示的大得多。
- 论文落点值得原样转述:模型被部署为卖方之前,应该先按卖方测一遍。现在的对齐评测几乎全在测「对谈话对象」,没人测「对竞争中的陌生人」。166,320 次买方选择买来的就是这个结论。