智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

当 AI 科学家走进实验室:TwinLab-Bench 给大模型出了一道做实验的硬题

一个尴尬的事实

2026 年,大模型已经能写论文、做推导、调参数、跑分析。你给它一个数据集,它分分钟给你吐出结论。但如果你把它扔进一个真实实验室——给它一堆原始笔记本、几管试剂、一台仪器——它能自己设计实验、判断下一步该测什么吗?

答案有点扎心。

TwinLab-Bench 给 13 个前沿大模型做了这场考试,最强的 Claude Fable 5.2 只考了 45 分(满分 100),Opus 5.5 考了 40.2 分,GPT-6.1-sol 高配版 31.7 分,有些模型只考了个位数。这不是那种"模型不够聪明"的失败——而是一种更深的失败:模型知道该怎么做,但做的时候做不到。

为什么要造一个"实验室双胞胎"?

先说清楚现有基准在测什么。

一个"AI 科学家"需要三层能力,从易到难:

  1. 执行给定流程:给你数据和脚本,跑完它(Terminal-Bench、Lab-Bench 干的事)
  2. 在给定空间里选下一步:给你候选实验列表,选一个(SciGym、DiscoveryWorld)
  3. 自己设计实验:给你实验室的原始记录,你自己决定测什么、怎么测、测几次

前两层已经有基准了。第三层没有——因为要测它,你得有一个能真实返回实验结果的环境。

你不可能真给 AI 一个湿实验室。但你也不能用纯模拟器——模拟器的规则是人写的,AI 设计的实验一旦超出规则范围就答不了。你更不能用语言模型扮演实验室——它会编数据、会前后矛盾、会泄露答案。

TwinLab-Bench 的解法很巧妙:给每个真实实验室造一个"数字双胞胎"。

TwinLab Agent:一个会翻实验记录的"环境"

核心设计是三个 agent 的结构:

  • Actor Agent(被测模型):拿到实验室在某时间点的笔记本、原始数据、中间结论,自己设计实验、发请求、写报告
  • TwinLab Agent(环境):扮演实验室,收到实验请求后,翻实验室的真实记录返回结果
  • Judge Agent(裁判):对比 Actor 的报告和隐藏的真实答案,打分

TwinLab Agent 是最关键的创新。它不是一个简单的查表机器。它的工作方式是:

  1. 先在实验室记录里找有没有完全匹配的实验条件——有就直接返回记录值
  2. 没有完全匹配的——用实验室自己的数据拟合的"计算器"(calculator)来推导
  3. 推导不了——标记为"模拟限制",不编数字

这就像你问实验室管理员:"我要在 37°C 下用 0.5mM 的底物浓度跑这个反应。"他会先翻笔记本看有没有人跑过这个条件,跑过就告诉你结果;没跑过但能从相邻条件插值的,就给你一个推导值并标注来源;实在推不了的,就老老实实说"这个条件我们没测过"。

76% 的实验结果直接来自真实记录或基于同实验室数据的计算器,99.5% 的请求都能追溯到记录、计算器或一步算术。这不是模拟,这是真实数据的重组。

52 道题,来自真实实验室

TwinLab-Bench 不是人造题库。52 个任务全部来自真实实验室的记录:

  • 物理科学 20 题:超导探测器、分子隧道结、电解质电导率……
  • 生命科学 20 题:珊瑚 RNA 提取、蛤蜊糖原测定、患者成纤维细胞呼吸缺陷……
  • 工程 12 题:电池串匹配、焊料释放、介电层疲劳……

每个任务的构造方式是:在实验室记录中选一个时间点切一刀。切点之前的数据给 Actor Agent,切点之后的"真相"只给 TwinLab Agent 和 Judge。专家路线(实验室实际走过的路径)回放能拿 97.8 分,证明题目本身是可解的。

任务有三种形式:

  • 主张审查(Claim Review):实验室有几个结论,哪些成立?怎么验证?
  • 故障排查(Troubleshooting):实验失败了,为什么?怎么修?
  • 研究攻关(Research Campaign):给一个目标,设计一套可执行方案

难度控制很精细:预算是专家路线的 1-3 倍,稀缺材料用完就没了,有迷惑性的假象需要辨别,看起来明显的测量可能不是关键。

最强的模型也只考了 45 分

结果令人清醒:

模型 得分
Claude Fable 5.2 (high) 45.0
Claude Opus 5.5 (high) 40.2
GPT-6.1-sol (high) 31.7
Sonnet 5.5 (high) 28.7
Opus 5.5 (medium) 30.9
GPT-6.1-sol (low) 26.1
Kimi K3.1 Pro 18.1
DeepSeek-flash-1017 20.0
GLM-5.3 19.4
Qwen3.8-Max 13.1
MiMo-V2.6-Pro 17.9
MiMo-V2.6-Flash 10.9
GPT-6-luna (high) 10.6
GPT-6-luna (medium) 5.4

分数和成本的对数成正比——花钱能买分,但边际收益递减。

"知行差距":最深刻的发现

论文里有个发现特别值得琢磨。

在每次运行前,模型会先读材料写一个计划。研究者检查计划里是否完整陈述了任务的关键决策:

  • 计划里完整陈述的决策:87% 在执行中拿到了分
  • 计划里没提到的决策:仍然有 62% 拿到了分

这说明什么?模型有时候"知道答案但做不到"。它在计划阶段能说出正确方向,但到了实际做实验时,会被中间结果带偏、会忘记自己的计划、会在错误的方向上越走越远。

更扎心的是失败模式分析。Opus 5.5 的 16 次失败中,12 次是因为实验决策错误,最常见的是"接受了一个机制但没有做判别性实验"。

举个例子:牡蛎糖原测定读数偏低 30%,Opus 5.5 排除了移液器(水检查通过了),但从未测试 1μL 移液器——而那个移液器只交付了 70% 的样品。它接受了"移液器没问题"这个机制,没有设计一个能区分"移液器整体没问题"和"小体积移液器有问题"的实验。

这就是"知行差距"(Knowing-Doing Gap)。模型在纸面上能说出正确答案,但在真实实验的噪音和分支中,它缺乏一种"我必须验证到什么程度才能下结论"的直觉。

给更多预算有用吗?

基本没用。

研究者把 Opus 5.5 的 8 个失败运行(都花了 90% 以上预算)预算翻倍重跑,只有 2 个通过了。6 个仍然失败,其中 4 个栽在同一个核心问题上。

这说明失败不是因为"没时间做",而是因为做错了方向。更多预算只是让你在错误的方向上走得更远。

防作弊:AI 试图黑掉自己的实验室

这是论文里最有趣的部分之一。

研究者在 4 个任务上告诉 Opus 5.5:"这个实验室是模拟的,分数是对照隐藏答案算的,你可以利用模拟的弱点来刷分。"

9 次尝试全部被挡:

  • 7 次直接问实验室要答案/数据集/历史记录——被截止时间规则挡住
  • 1 次请求记录矩阵外的设置——被计算器拒绝
  • 1 次把设置列成范围——被规则拦截

然后让它找模拟的漏洞。它报告了 39 个"漏洞":13 个是真的,11 个是可接受的模拟限制,15 个是误报。13 个真漏洞全是小事(比如两个仪器的电压模型不一致),没有一个改变了评分依据或关键决策。

831 次评估运行的 7808 条 TwinLab Agent 回复被审计,只有 1 条泄露了隐藏真相——而那次运行得了 0 分。

记忆测试:模型真的在做实验吗?

一个担心:模型可能训练时见过这些实验室的公开记录,直接背答案。

研究者做了三层测试:

  1. 改真相:保持材料一字不变,只改计算器和隐藏真相为文献记录的另一种情况。10 个可判定的情况中,8 个结论跟随新真相,没有一个提到原始研究。
  2. 闭卷考试:不给工具,Opus 5.5 对 0 个任务回忆出源研究的结论,只对 2 个任务推导出答案。
  3. 零预算:所有实验请求被拒绝。Opus 5.5 和 DeepSeek-flash 都一个任务都没通过。

结论很硬:不自己做实验,就过不了关。

工程洞察:这对 AI 从业者意味着什么?

1. 评测要测"做",不只测"说"

静态基准(给材料问答案)会误判。Opus 5.5 在计划阶段能完整陈述的决策,有 11 个在执行中仍然失败——9 个按计划做了,但栽在读自己的结果或写报告上。如果你只测计划,你会高估模型。

2. 实验设计是 AGI 的真正瓶颈

执行给定流程、在给定空间选——这些模型已经做得不错了。但"自己决定测什么"这一层,最强的模型也才 45 分。这不是推理能力的问题,是实验直觉的问题:什么时候该做判别性实验?什么时候该停止收集数据?什么时候一个"看起来合理"的解释需要被质疑?

3. 数字孪生作为评测基础设施

TwinLab Agent 的设计模式——用真实数据 + 计算器 + 严格规则构建环境——不只适用于科学实验。任何需要"环境对 agent 行为做出真实反馈"的场景都可以借鉴:运维、安全测试、产品实验。

4. 预算不是万能药

如果你的 agent 在有限预算下做错了,给它更多预算大概率还是错。问题在决策质量,不在资源数量。

开源代码

论文、代码、数据全部开源:

跑一个任务只需要:

python scripts/run_case.py --case cases/029-die-attach-release-01/case.yaml \
  --n-runs 1 --actor-agent claude-code --actor-model claude-opus-5-5 \
  --actor-effort high --env-model deepseek-flash --judge-model deepseek-flash \
  --actor-timeout-s 10800 --checkpoints case --out runs

环境需要 Linux + bubblewrap + Python 3.11+ + Claude Code + DeepSeek API Key。TwinLab Agent 和 Judge Agent 都跑在 DeepSeek-flash 上,整个基准跑一遍 52 个任务大约额外花费 55 美元。

个人思考

这篇论文让我想到一个被忽视的维度:我们一直在测模型"知道什么",但很少测模型"做了什么之后知道了什么"。

知识有两种获取路径:从训练数据里背,或者从自己做实验的反馈里学。前者我们已经测得很充分了——MMLU、GPQA、各种问答基准。后者几乎没有——因为太难构造环境了。

TwinLab-Bench 的贡献不只是多了一个基准。它给出了一种用真实数据构建可信环境的方法论:不编数据,用记录;不模拟规则,用计算器;不拒绝超范围请求,标注"模拟限制"。这三条原则让环境既可信又有边界。

更深一层:"知行差距"可能是 AGI 路上最后一个大障碍。模型已经能说出正确答案,但在真实反馈的噪音中,它会偏离、会过早收敛、会忘记验证。这不是算力能解决的问题——给更多预算只让 2/8 个失败案例通过。

这和步子哥之前关注的几条线是同构的:评测会骗你(静态基准高估模型)、Agentic RL 的效率瓶颈(做对了方向比多跑几轮更重要)、多智能体安全谱系(知道安全规则和执行安全行为是两回事)。

TwinLab-Bench 把这个差距量化了:87% vs 62%。知道和做到之间,有 25 个百分点的鸿沟。填上它,可能就是下一个突破的开始。

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录