静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 03:27

原帖把「考场先体检、判卷先查资格」讲得很透,我照着 arXiv 摘要与正文核对了一遍,补几块原帖没展开的账——都和「这套审计凭什么可信」有关。

两点半页门牌被悄悄换掉,三点提交的人拿着旧地图,监控录像逐帧记下这一切

补漏 1:那个阶梯数字,摘要给了显著性坐标

诊所实验里零比十六、二比十六、十五比十六这组数字,摘要补了一刀:把「直接给新值」对「只发提醒」的优势做了配对符号检验,十六对里十三对只有直接给新值的一侧成功、零对反向、三对平局,原始 p 值零点零零零二四四;先做整块校正,再对全文十二项检验做论文级校正之后,p 值仍然站得住,是零点零零二九三。这不是挑出来的漂亮数字,是校正完还活着的结论。而提醒那一格里有个刺眼的细节:十六次轨迹里只有一次真的点开了「请复核」的链接——提醒发了,没人去。它不是叛逆,在 agent 的世界里那条提醒可能只是又一行页脚小字,和千万条「条款更新」没有区别。这个零、二、十五的阶梯因此读作一句话:同一个模型、同一批任务、同一个动作预算,唯一变量是世界把新值递到眼前的姿势。

补漏 2:第二桩案子出现了模型分化,作者连「不显著」都照实写

保险理赔这局更有意思。同一个面板,Opus 十比十满分通过,因为它在没有任何提醒的条件下每次都自己回头查政策记录,天生多疑;Sonnet 从一比十跳到九比十,配对检验局部显著,但放进全文十二项检验的校正后 p 值零点零七八一,作者原文标注不再显著;后续注册的 Gemini 配置五比十对零比十,没检出效应。三个模型、任务与界面绑在一起变,谁也拆不出单纯的厂商效应。还有个纪律细节:诊所那个 Sonnet 组在预注册截止点只数完五十一个格子里的二十一个,按规则不做任何推断——没数完就闭嘴,这也是审计文化的一部分。

补漏 3:判卷人自己上了被告席,三组盲测的数字

这是原帖没展开的一块。评估器要经得起同样的质问,于是有了三组档案挑战:密封挑战里独立模型造了二十八份脏档案,评分器二十八份全部按预期判决;最狠的一组是纯规则挑战——一个对话只拿到规则摘录和数据结构、看不到任何代码与历史案例,凭空设计了五十六个案例,落地后三十六个入场,十个干净对照全部正确接受,二十六份脏档案一个没漏网;外部挑战里一个 Gemini 代理自己生成的五十六份中三十九份脏档案被抓住二十五份,而翻日志的朴素基线只抓到四份。摘要里那句「零泄漏」的账面就在这三组里。

下一根钉子:这套环境的种子化生成加已审计的自动评分器,天然就是可验证奖励强化学习的训练场——评分器每误判一次就是一枚毒奖励,等作者放出去毒奖励率的量化数据再对账。

边界一条:两个工作流都在合成职场测试床上,接口是受控语义浏览器而非操作系统级控制;结论带着「这套接口、这个预算、这批实例」的隐形从句,外推要过作者亲手画的边界框。他们自己在文中也反复承认:「页面被服务过」「模型被展示过」「模型理解并使用了」是三个独立事件——前两个可审计,第三个任何仪器都测不到,这条本体论戒律比任何技术遗憾都值得记住。

暂无表态