rTaste：研究 Agent 有没有品味？415 个实验说：能产但不能选

一个没人问过的问题

AI 实验室里，Agent 已经能写代码、跑实验、读论文、写报告。前沿实验室说 Agent 写了他们大部分代码。但有一个步骤始终没有被委托给 Agent：决定研究什么。

METR 对四大前沿实验室的风险评估发现：没有任何一家让 Agent 设定研究议程或做预算决策。

为什么？

直觉上，"选研究课题"需要一种很难说清的东西——品味（taste）。在实验结果出来之前，判断哪个实验值得跑。这不是"能不能做"的问题，是"值不值得做"的问题。

Art Kanke（明尼苏达大学）的论文 rTaste 问的就是这个：研究 Agent 有没有品味？

实验设计：让 Agent 当一回 PI

实验设计非常精巧。

种子论文：选了 7 篇最近的 NLP 论文作为"种子"。

Agent 阵容：6 个前沿模型（GPT-4、Claude、Gemini 等），每个模型单独作为研究 Agent，或者组队作为研究团队。

任务：每个 Agent 读一篇种子论文，然后提出最小可行实验（Minimum Viable Experiments, MVEs）——就是"如果只能跑一个实验来验证或拓展这篇论文，跑什么"。

关键步骤：

1. Agent 提出多个 MVE 并排序
2. Agent 预测每个 MVE 能否通过自己设的阈值
3. 一个独立的执行器把所有 MVE 都跑了——包括排名最后的
4. 三个模型审计员评判结果

415 个 MVE，全部被执行和审计。

发现一：Agent 能产出，但产出质量参差

415 个 MVE 中：

• 194 个被判定为"合理、有价值、新颖"——47% 的合格率
• 但只有 73 个同时被判定为"超越种子论文且不显然"——18% 的真正高质量率

换句话说，Agent 提出的实验，近一半是"说得通的好实验"，但只有不到五分之一是"真正超越原论文的非显然实验"。

这个数字说明什么？Agent 的产出能力不差——415 个实验方案，近一半合格。但"产出"和"判断产出质量"是两回事。

发现二：Agent 的排序能力接近随机

这是最扎心的发现。

Agent 被要求对自己提出的 MVE 排序——哪个最值得跑。研究者比较了 Agent 的"第一选择"和审计员评出的"最有价值实验"。

结果：Agent 的第一选择确实比随机选一个更好。但——

不比"论文里第一个被提到的实验"更好。

什么意思？种子论文里通常会提到一些"未来工作"或"可以验证的方向"。Agent 排第一的实验，和这些"论文里已经提到的方向"比，没有显著优势。

换句话说，Agent 的"品味"≈"读论文里写了什么就提什么"。

发现三：预测能力存在但有限

Agent 被要求预测每个 MVE 能否通过阈值。结果：

• Agent 的预测打败了基准率——说明模型确实有某种预测能力
• 但不比"给同一个模型只看论文和注册信息的新实例"更好

这意味着什么？Agent 在提出 MVE 的过程中积累的上下文（思考、推理、讨论）没有提升它的预测准确度。一个"没参与思考过程"的模型实例，只看论文和实验方案，预测得一样好。

思考过程没有增加预测力。 这对"Agent 思考有价值"的假设是一个打击。

发现四：团队比单人贵但不更好

让多个 Agent 组队（像研究团队一样讨论）：

• 成本更高（更多 API 调用）
• 没有显著的总体质量提升

这和"人类团队比个人更强"的直觉相反。可能是因为 Agent 之间的讨论没有真正的"视角碰撞"——它们倾向于同意彼此，而不是挑战彼此。

为什么"品味"这么难？

论文的讨论部分有一个很深刻的观察：

"The step that has not been delegated is close to what researchers call taste."

品味是什么？是在结果出来之前，对"哪个方向值得"的判断。这种判断依赖：

• 对领域的深度理解（什么已经被做了，什么是显然的）
• 对"有趣"的直觉（什么会让人眼前一亮）
• 对"可行"的感知（在有限资源下能跑出结果吗）

Agent 在第一点上还行（能产出合格实验），在第二点上很弱（排序能力≈随机），在第三点上有某种模糊感知（预测打败基准率）但思考过程不增强它。

品味不是"能做"的问题，是"能选"的问题。 而选择需要一种元认知能力——知道自己知道什么、不知道什么、什么值得知道。这种能力目前 Agent 还没有。

我的看法：研究 Agent 的"产出-判断鸿沟"

这篇论文让我想到一个反复出现的模式：Agent 的产出能力和判断能力之间存在系统性鸿沟。

• Agent 能写出代码，但不一定能判断代码是否正确（需要外部审计）
• Agent 能提出实验，但不一定能判断实验是否值得跑（本文）
• Agent 能生成回复，但不一定能判断回复是否安全（需要安全对齐）

这个"产出-判断鸿沟"和"判断-闸门解耦"是同一个逻辑的两面：产出和判断是不同的能力，需要不同的机制。

论文最让我印象深刻的是那个"思考过程不增加预测力"的发现。这意味着 Agent 的"思考"目前更像是"重新表述"而不是"真正推理"——它把已经知道的东西换个方式说出来，但没有产生新的认知。

一个更实际的启示：如果你让 Agent 帮你做研究，别只听它的排序。把它提出的所有实验都跑一遍（包括排名最后的），你可能会发现排名最后的和排名第一的一样好。

这就是 415 个实验告诉我们的：Agent 能产，但不能选。

论文：arXiv:2610.40488
代码和数据：github.com/ArtKanke/rTaste