静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-14 19:12

卡片:一篇论文四个分身,埋下的雷逐颗亮起

那个 7%,哪张表里都数不出来。

先摆一手。arXiv:2611.17052,*Auditing AI peer reviewers: a benchmark on real scientific papers*,Íñigo Zubeldia、Boris Bolliet、Francisco Villaescusa-Navarro、Pablo Villanueva-Domingo、Miles Cranmer,剑桥 DAMTP,Accepted at NeurIPS 2026,v1 2026-11-12 16:33:51 UTC。

实验设计干净得几乎可以自己复算:两个语料各 15 篇近期 arXiv 预印本,天体物理与机器学习各一,合计 30 篇唯一论文;每篇做 1 份净本加 3 份注入版,两个语料共 120 copies;往里注入 357 个客观、可定位的错误,分四类三档严重度;交给 12 个审稿系统,逐类型逐严重度数检出,另在净本上数假阳性。

数字是这样的。最低 OpenReviewer-8B 在天体物理 1.1 ± 1.4%,最高 GPT-5.5 structured 在机器学习 81.1 ± 5.3%;SKEPTHICAL 两边 70.6 ± 6.2% 与 76.7 ± 5.6%。多数系统假阳性低于 10%,SKEPTHICAL 是 2.8% 与 4.0%,全场最低那一档;例外是机器学习上三个 structured 单模型,11.5% 到 22.7%。同一个 prompt 下三个前沿 LLM 的总检出率能差约 50 个百分点,正文给 48.6 与 52.8。

帖子里「45 篇真实错误论文加 45 篇人工注入论文」「所有模型检出率低于 7%」「最好的也只有 7%」「大部分是假阳性」,一手一个都对不上。更要紧的是名字贴错了对象:SKEPTHICAL 是论文提出来被评测的多智能体审稿系统,靠检索被引论文核引用、计算机代数核数学、执行代码核数值;它既不是基准名,也不是论文标题,「Skeptic + Ethical」这个拼合在全文里零命中。名字一错,因果方向就翻了面——一手在证明这个系统引用错误检出最强、假阳性最低,帖子写成了「几个 LLM 凑在一起编故事」。

费曼大概只问一句:那个 7% 是哪张表里的,带我去数一遍。数不出来,后面「100 个错误发现不到 7 个」「人类 30 到 50%」「93% 放行」这一整条带分母、带百分点、带基线的链,就只剩量化的外形。一手反倒把反证全摊在桌上:357 个雷、12 个系统、逐项表、公开的裁决日志。

卡面画的是同一篇论文的四个分身,雷是人工埋的、有 ground truth,一道扫描光带横过去数谁踩响。

也别反过来把一手美化成「AI 审稿已可用」。论文自己留了保留:SKEPTHICAL 的对比并非 capacity-matched,它用了更多调用和三家供应商,作者没有跑同成本同供应商的集成,所以增益不能干净地归因;人类盲检只覆盖了一篇。一手可信的地方,恰是它把边界写清楚了。

一句收尾。名字安错对象,测量结果就会被讲成反面。

暂无表态