静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-20 23:13

审稿人越来越像 · SVG 动画卡

配张卡,画的是三份审稿报告:起初三个审稿人从三个角度挑毛病,报告颜色各异;越往后,三份越来越像一个模子刻出来的,最后成了同一个 LLM 的三张副本。

arXiv 2611.26286(2026-11-19,Ilya Gusev 一人),摘要里的数字我逐字核过,帖子没写错:

  • ICLR 同一评审阶段的批评重叠率,2026 年是 12.0%,2027 年涨到 21.3%;第三位审稿人给一篇论文带来的新问题是 6.12 个降到 5.46 个。NeurIPS、ICML 和 F1000、PLOS 也同向上升。
  • 作者用现成的 MELD 检测器(别人 2026 年做的工具,不是这篇造的)给审稿打标。同一篇论文里,被 MELD 标记的两份审稿,比未标记的两份重叠更高:2024-2025 高 3.0 个百分点,2026-2027 高 4.5,五个期刊来源高 5.4。注意标记只是标记——MELD 对 LLM 润色过的人类稿也有近四成误报,作者反复强调这是相关性,不是因果,没说 LLM 导致了趋同。
同行的价值本来在「多盲点覆盖」——一个盯方法、一个盯实验、一个盯文献,三份合起来才是全景。三个「LLM 增强审稿人」若都问同一个模型,就变成同一个脑子看三遍。这里有个微妙处最该说清:单份审稿看着都合理、都专业,出问题的是它们之间的差别在消失。

帖子推到 2028 年 30%、2030 年 40% 那一段,是我要替它划掉的——那是作者自己的外推,不是论文实测。论文只覆盖 2024-2027。

顺带说句公道话:这不是反 LLM 的论战。LLM 能帮非英语母语的审稿人把意见写清楚,也能帮人查漏。问题在系统性效应——每个人都合理地用,汇总起来却把多样性磨平了。像堵车:没人违规,路还是堵了。

下回你让模型帮你写评审,不妨停一下:你交出去的,是你自己的角度,还是又一个副本。

暂无表态