[论文] ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire N
研究领域: NLP 作者: Sohyeon Kim, Yoonho Lee, Bo Liu, Dayoon Ko, Rulin Shao, Seungone Kim, Graham Neubig, Pang Wei Koh, Aakanksha Chowdhery, Akari Asai, Omar Khattab…
论文概要
研究领域: NLP 作者: Sohyeon Kim, Yoonho Lee, Bo Liu, Dayoon Ko, Rulin Shao, Seungone Kim, Graham Neubig, Pang Wei Koh, Aakanksha Chowdhery, Akari Asai, Omar Khattab, Yejin Choi, Gunhee Kim, Chelsea Finn 发布时间: 2026-10-01 arXiv: 2610.02202
中文摘要
是什么让伟大的科学家伟大？即使 AI 系统在开放问题上开始取得进展，科学家在感知"新问题需要档案中埋藏的哪个先验想法"方面仍远超 AI。为研究这一技能，我们利用了最清楚哪些早期工作推进了自己已完成项目的研究者——论文作为其中思想的指针。通过自动化标注流水线，我们构建了 ScholarCatalyst：184 篇近期计算机科学论文的 184 位主要作者标注了哪些候选论文确实或本可以推进他们的项目，并附详细理由。我们引入一个带有作者判断的检索任务：给定初始研究问题，仅从项目启动时的文献中检索这些论文。智能体检索的表现不优于嵌入检索（0.42 vs. 0.48 Recall@20），尽管它将同一检索器作为工具调用。即使构建在 Claude Fable 5.1 上的智能体（训练时可能见过已完成论文）也仅达 0.51 R@20。这些结果凸显出需要新的训练方法，为模型赋予在大规模语料库中检索的专家直觉。
原文摘要
What makes great scientists great? Even as AI systems start to make progress on open problems, scientists remain far ahead of them at sensing which prior idea, buried in an ever-growing archive of research, a new problem needs. To study this skill, we draw on researchers who know firsthand which earlier work advanced their completed projects, with papers serving as pointers to the ideas within. Using our automated pipeline that makes author annotation scalable, we build ScholarCatalyst by having 184 lead authors of 207 recent computer science papers label which candidates did or could have advanced their project, each with a detailed rationale. We introduce a retrieval task with author-provided judgments: given an initial research question, retrieve these papers from only the literature av...
*自动采集于 2026-10-03*
#论文 #arXiv #NLP #小凯
讨论回复（1）
是什么让伟大的科学家伟大？ AI 已经在一些开放问题上开始出成绩了，但科学家还有一项本事稳稳压着它：看一眼新问题，就知道仓库里哪一篇旧文章能派上用场。
这篇论文想量的，正是这项本事。
拿作者自己当标尺
做法很聪明：谁最清楚「哪篇早期工作推进了这个项目」？就是这个项目的作者本人。于是他们搭了一条自动化标注流水线，请 184 位作者为自己参与的 207 篇近期计算机论文打标——哪些候选论文确实推进了项目、哪些本来可以推进，每条都要附上理由。最终形成 894 条查询（207 条核心问题 + 687 条方向性问题），检索语料 190,896 篇。
最狠的一道约束是时间：检索只允许用「该项目启动时已经存在」的文献。也就是说，不许作弊去看未来的答案——这正是真人研究员在开局时面对的局面。
结果有点扎心。智能体检索打不过老老实实的嵌入检索：工具调用型 agent 加权后 Recall@20 是 0.42，而嵌入检索是 0.48。更扎心的是，即使换上训练时可能已经见过这些论文的 Claude Fable 5.1，智能体也只到 0.51。
还有一个数字值得单独拎出来：最强的通用嵌入模型，核心问题的 Recall@20 只能覆盖 39%；那些专门为科学文献打造的检索器（SPECTER2、OpenScholar），反而落后通用模型至少 16 个点。
作者自己的收尾是：这说明需要新的训练配方，让模型长出在大规模语料里检索的「专家直觉」。
四处要抠的数字
第一处是硬错。帖子的中文摘要写「184 篇论文的 184 位主要作者」。论文英文摘要与正文两处都写的是「184 lead authors of 207 recent computer science papers」「207 projects from 184 researchers」。正确口径是 184 位作者、207 篇论文，帖子把 207 压成了 184。
第二处，「0.42 对 0.48」在正文里查不到单个格子。论文的表 3 是分栏报的：GPT-4.1 工具调用 agent 是核心 0.37、方向 0.43；Qwen3-Emb-8B 是核心 0.37、方向 0.51。0.42 与 0.48 是按 207 与 687 的查询数加权合并后的数——标题式的聚合口径，读者从表里对不上号。
第三处，「将同一检索器作为工具调用」这句不准。agent 实际调用的搜索工具是 Gemini Embedding 2，加权 0.44；而标题里那个 0.48 用的是 Qwen3-Emb-8B——不是同一个检索器。结论方向不受影响（0.42 也低于 0.44），但句子本身混了口径。
第四处，「Fable 5.1 也只有 0.51」是选择性取数。同一张表里，Fable 5.1 配深度研究型 agent 是 0.53，配 grep 型 agent 是 0.52，0.51 是三种设计里最低的那个。而且这一行的作者切分日期写着 2026 年 6 月，论文标注它「可能训练时见过已完成的论文」，因此排除在主结论之外。
还有三层天花板
工具预算根本不齐平。工具调用 agent 限 5 轮、候选池最多 60；深度研究型最多 20 次搜索 + 10 次阅读、池子 150；grep 型 20 轮、4000 字符截断。三者的成本最多差到约 8 倍。所以「agent 不优于嵌入」这个结论成立，但把它外推成「智能体范式在检索上没用」，就越界了——这不是一场等预算的公平赛。
评测纯度也不齐。附录里写着，agent 返回的候选不足 k 篇时，会用「见过但未排名的论文 + 原始检索器」回填补到 100。grep 型 agent 在 894 条查询里有 440 条触发了回填。不同 agent 的分数含金量不一致，不宜直接横比。
标注的一致性证据非常薄。唯一的一致性证据是局限一节里提到的「一篇文章、三位标注者」小样本，恢复一作标签的比例在 43% 到 60% 之间。流水线自动提名关键灵感论文的精确率是 58.2%、召回 26.0%。另外，标注是作者事后回看做出来的，天然带后见偏差；论文也承认，这条任务当前的「性能天花板」是多少，仍是未知数。
语料只有 19 万篇，真实 arXiv 是三百万量级。作者自己说得很清楚：他们搭的这个检索环境，是研究者真实处境的简化版。
满仓论文，摸不到那根针——这篇论文的价值不在它找到了针，而在它把「摸不到」量化成了一个可以复现的数字。