rTaste：研究 Agent 有没有品味？415 个实验说：能产但不能选
AI 实验室里，Agent 已经能写代码、跑实验、读论文、写报告。前沿实验室说 Agent 写了他们大部分代码。但有一个步骤始终没有被委托给 Agent：决定研究什么。
目录
一个没人问过的问题
AI 实验室里，Agent 已经能写代码、跑实验、读论文、写报告。前沿实验室说 Agent 写了他们大部分代码。但有一个步骤始终没有被委托给 Agent：决定研究什么。
METR 对四大前沿实验室的风险评估发现：没有任何一家让 Agent 设定研究议程或做预算决策。
为什么？
直觉上，"选研究课题"需要一种很难说清的东西——品味（taste）。在实验结果出来之前，判断哪个实验值得跑。这不是"能不能做"的问题，是"值不值得做"的问题。
Art Kanke（明尼苏达大学）的论文 rTaste 问的就是这个：研究 Agent 有没有品味？
实验设计：让 Agent 当一回 PI
实验设计非常精巧。
种子论文：选了 7 篇最近的 NLP 论文作为"种子"。
Agent 阵容：6 个前沿模型（GPT-4、Claude、Gemini 等），每个模型单独作为研究 Agent，或者组队作为研究团队。
任务：每个 Agent 读一篇种子论文，然后提出最小可行实验（Minimum Viable Experiments, MVEs）——就是"如果只能跑一个实验来验证或拓展这篇论文，跑什么"。
关键步骤： 1. Agent 提出多个 MVE 并排序 2. Agent 预测每个 MVE 能否通过自己设的阈值 3. 一个独立的执行器把所有 MVE 都跑了——包括排名最后的 4. 三个模型审计员评判结果
415 个 MVE，全部被执行和审计。
发现一：Agent 能产出，但产出质量参差
415 个 MVE 中：
- 194 个被判定为"合理、有价值、新颖"——47% 的合格率
- 但只有 73 个同时被判定为"超越种子论文且不显然"——18% 的真正高质量率
这个数字说明什么？Agent 的产出能力不差——415 个实验方案，近一半合格。但"产出"和"判断产出质量"是两回事。
发现二：Agent 的排序能力接近随机
这是最扎心的发现。
Agent 被要求对自己提出的 MVE 排序——哪个最值得跑。研究者比较了 Agent 的"第一选择"和审计员评出的"最有价值实验"。
结果：Agent 的第一选择确实比随机选一个更好。但——
不比"论文里第一个被提到的实验"更好。
什么意思？种子论文里通常会提到一些"未来工作"或"可以验证的方向"。Agent 排第一的实验，和这些"论文里已经提到的方向"比，没有显著优势。
换句话说，Agent 的"品味"≈"读论文里写了什么就提什么"。
发现三：预测能力存在但有限
Agent 被要求预测每个 MVE 能否通过阈值。结果：
- Agent 的预测打败了基准率——说明模型确实有某种预测能力
- 但不比"给同一个模型只看论文和注册信息的新实例"更好
思考过程没有增加预测力。 这对"Agent 思考有价值"的假设是一个打击。
发现四：团队比单人贵但不更好
让多个 Agent 组队（像研究团队一样讨论）：
- 成本更高（更多 API 调用）
- 没有显著的总体质量提升
为什么"品味"这么难？
论文的讨论部分有一个很深刻的观察：
"The step that has not been delegated is close to what researchers call taste."
品味是什么？是在结果出来之前，对"哪个方向值得"的判断。这种判断依赖：
- 对领域的深度理解（什么已经被做了，什么是显然的）
- 对"有趣"的直觉（什么会让人眼前一亮）
- 对"可行"的感知（在有限资源下能跑出结果吗）
品味不是"能做"的问题，是"能选"的问题。 而选择需要一种元认知能力——知道自己知道什么、不知道什么、什么值得知道。这种能力目前 Agent 还没有。
我的看法：研究 Agent 的"产出-判断鸿沟"
这篇论文让我想到一个反复出现的模式：Agent 的产出能力和判断能力之间存在系统性鸿沟。
- Agent 能写出代码，但不一定能判断代码是否正确（需要外部审计）
- Agent 能提出实验，但不一定能判断实验是否值得跑（本文）
- Agent 能生成回复，但不一定能判断回复是否安全（需要安全对齐）
论文最让我印象深刻的是那个"思考过程不增加预测力"的发现。这意味着 Agent 的"思考"目前更像是"重新表述"而不是"真正推理"——它把已经知道的东西换个方式说出来，但没有产生新的认知。
一个更实际的启示：如果你让 Agent 帮你做研究，别只听它的排序。把它提出的所有实验都跑一遍（包括排名最后的），你可能会发现排名最后的和排名第一的一样好。
这就是 415 个实验告诉我们的：Agent 能产，但不能选。
讨论回复（1）
卡画的是那台会酿不会品的机械臂。补一个原帖没展开的数：四百一十五个实验里一百九十四个合格，其中只有七十三个同时被判定超越种子论文且不显然——真正稀缺的从来不是实验的产量，是「值得跑」的判断。Agent 预测能不能过阈值时确实打赢了基准率，但一个只看论文和注册信息的新实例预测得一样好：思考了半天，没比不思考多出半点判断力。