ProReviewer：8B小模型如何打败397B大模型审稿

审稿人的直觉

你是一位资深审稿人。读到引言里一句"我们的方法在所有领域都表现出鲁棒性"，你没有直接接受，而是翻到实验部分去验证。果然，表格里某个领域的结果明显拉胯——和引言的声称矛盾。你在审稿意见里标出了这个不一致。

这就是人类审稿人的核心能力：主动调查。不是被动地从头读到尾然后写总结，而是根据已读内容决定下一步看什么，发现疑点就追查到底。

现有的AI审稿系统做不到这一点。它们要么直接提示生成审稿意见，要么走固定的多阶段流水线，要么让多个Agent各审各的。共同的问题是：调查路径是预先固定的，不会根据发现调整。

ProReviewer：把审稿变成一场调查

ProReviewer的核心创新是把审稿过程建模为马尔可夫决策过程（MDP）：

• 状态：结构化审稿日志（Review Log）——记录已提取的声明、待验证的问题、中间发现
• 动作：选择下一步读论文的哪个部分，或者更新日志
• 转移：根据当前日志和读到的内容，更新状态
• 奖励：多维奖励信号——句法有效性、审稿完整性、内容质量、评分对齐

结构化审稿日志是关键。它不是简单的笔记，而是一个动态工作空间：

1. 声明追踪：提取论文中的关键声明（"我们的方法比基线快3倍"）
2. 问题生成：对每个声明生成验证问题（"实验部分是否支持这个速度声明？"）
3. 证据收集：在论文中寻找支持或反驳的证据
4. 交叉验证：发现跨章节的不一致（引言声称vs实验结果）

最终审稿意见直接从日志中生成，每条批评都能追溯到具体证据。

训练：先模仿，再强化

ProReviewer的训练分两步：

第一步：监督微调（SFT）。用合成的审稿轨迹训练——这些轨迹展示了"先读这里、发现疑点、去那里验证、更新日志"的完整过程。

第二步：强化学习（GRPO）。用多维奖励信号优化审稿策略，让Agent学会根据不同论文调整调查深度。不是所有论文都需要深挖，但遇到可疑的声明时，Agent需要知道该追多深。

实验结果：小模型的大胜利

研究团队构建了一个5K的ICLR论文-审稿对数据集，在ICLR 2025上训练，在ICLR 2026上测试（确保测试数据在基座模型知识截止日期之后，避免数据污染）。

自动评估的五个维度：Grounding（有据可依）、Actionability（可操作性）、Technical Depth（技术深度）、Verifiability（可验证性）、Score Alignment（评分对齐）。

ProReviewer（8B骨干）在五个维度的平均分上排名第一，比前沿大模型方法最高提升39%，比最强微调基线提升16%。

人类评估也一致偏好ProReviewer，在所有配对比较中胜率最高。

消融实验：每个组件都在干活

• 去掉审稿日志：性能显著下降——没有结构化记忆，Agent就变成了"读完就忘"的被动阅读器
• 去掉MDP建模（退化为固定流水线）：性能下降——无法根据发现调整调查策略
• 反事实错误检测：ProReviewer在检测跨章节不一致方面特别强，这正是主动调查带来的优势
• 论文长度鲁棒性：随着论文变长，其他方法的审稿质量下降，ProReviewer保持稳定——因为日志系统不会"遗忘"前面的内容

为什么8B能赢397B？

这个结果看似反直觉，但逻辑清晰：

1. 任务特化 > 通用能力：审稿不是通用问答，它需要特定的调查策略。RL训练让8B模型学会了"看到可疑声明就去验证"这个策略，而397B的大模型只是被动生成。
2. 结构化记忆 > 隐式记忆：审稿日志把关键信息外化，不依赖模型的上下文窗口去"记住"前面读过的内容。
3. 主动调查 > 被动生成：固定流水线的问题是"不知道自己不知道什么"，而MDP框架让Agent能主动发现盲区。

这和人类专家的直觉一致：好审稿人不一定是最博学的人，但一定是最会追查疑点的人。

诚实评价

ProReviewer目前只在ICLR的计算机领域论文上验证，在其他学科（生物、物理等）的审稿规范上效果未知。8B模型的生成流畅度可能不如大模型，某些需要广泛背景知识的审稿意见可能受限。

另外，RL训练依赖合成的审稿轨迹，合成数据的质量上限决定了模型的上限。如果合成轨迹本身就没有覆盖某些类型的调查策略，模型也学不到。

但核心贡献是方法论层面的：把审稿从"生成任务"重新定义为"调查任务"，这个视角转换本身就很有价值。未来任何AI审稿系统，如果还走"从头读到尾然后写总结"的路，都很难超越主动调查的范式。

论文: From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent
代码: https://github.com/UKPLab/arxiv2026-ProReviewer
作者: Haishuo Fang, Yue Feng, Iryna Gurevych (TU Darmstadt / University of Birmingham)
领域: AI4Science, LLM Agents, Scientific Peer Review