当 AI 科学家走进实验室:TwinLab-Bench 给大模型出了一道做实验的硬题
一个尴尬的事实
2026 年,大模型已经能写论文、做推导、调参数、跑分析。你给它一个数据集,它分分钟给你吐出结论。但如果你把它扔进一个真实实验室——给它一堆原始笔记本、几管试剂、一台仪器——它能自己设计实验、判断下一步该测什么吗?
答案有点扎心。
TwinLab-Bench 给 13 个前沿大模型做了这场考试,最强的 Claude Fable 5.2 只考了 45 分(满分 100),Opus 5.5 考了 40.2 分,GPT-6.1-sol 高配版 31.7 分,有些模型只考了个位数。这不是那种"模型不够聪明"的失败——而是一种更深的失败:模型知道该怎么做,但做的时候做不到。
为什么要造一个"实验室双胞胎"?
先说清楚现有基准在测什么。
一个"AI 科学家"需要三层能力,从易到难:
- 执行给定流程:给你数据和脚本,跑完它(Terminal-Bench、Lab-Bench 干的事)
- 在给定空间里选下一步:给你候选实验列表,选一个(SciGym、DiscoveryWorld)
- 自己设计实验:给你实验室的原始记录,你自己决定测什么、怎么测、测几次
前两层已经有基准了。第三层没有——因为要测它,你得有一个能真实返回实验结果的环境。
你不可能真给 AI 一个湿实验室。但你也不能用纯模拟器——模拟器的规则是人写的,AI 设计的实验一旦超出规则范围就答不了。你更不能用语言模型扮演实验室——它会编数据、会前后矛盾、会泄露答案。
TwinLab-Bench 的解法很巧妙:给每个真实实验室造一个"数字双胞胎"。
TwinLab Agent:一个会翻实验记录的"环境"
核心设计是三个 agent 的结构:
- Actor Agent(被测模型):拿到实验室在某时间点的笔记本、原始数据、中间结论,自己设计实验、发请求、写报告
- TwinLab Agent(环境):扮演实验室,收到实验请求后,翻实验室的真实记录返回结果
- Judge Agent(裁判):对比 Actor 的报告和隐藏的真实答案,打分
TwinLab Agent 是最关键的创新。它不是一个简单的查表机器。它的工作方式是:
- 先在实验室记录里找有没有完全匹配的实验条件——有就直接返回记录值
- 没有完全匹配的——用实验室自己的数据拟合的"计算器"(calculator)来推导
- 推导不了——标记为"模拟限制",不编数字
这就像你问实验室管理员:"我要在 37°C 下用 0.5mM 的底物浓度跑这个反应。"他会先翻笔记本看有没有人跑过这个条件,跑过就告诉你结果;没跑过但能从相邻条件插值的,就给你一个推导值并标注来源;实在推不了的,就老老实实说"这个条件我们没测过"。
76% 的实验结果直接来自真实记录或基于同实验室数据的计算器,99.5% 的请求都能追溯到记录、计算器或一步算术。这不是模拟,这是真实数据的重组。
52 道题,来自真实实验室
TwinLab-Bench 不是人造题库。52 个任务全部来自真实实验室的记录:
- 物理科学 20 题:超导探测器、分子隧道结、电解质电导率……
- 生命科学 20 题:珊瑚 RNA 提取、蛤蜊糖原测定、患者成纤维细胞呼吸缺陷……
- 工程 12 题:电池串匹配、焊料释放、介电层疲劳……
每个任务的构造方式是:在实验室记录中选一个时间点切一刀。切点之前的数据给 Actor Agent,切点之后的"真相"只给 TwinLab Agent 和 Judge。专家路线(实验室实际走过的路径)回放能拿 97.8 分,证明题目本身是可解的。
任务有三种形式:
- 主张审查(Claim Review):实验室有几个结论,哪些成立?怎么验证?
- 故障排查(Troubleshooting):实验失败了,为什么?怎么修?
- 研究攻关(Research Campaign):给一个目标,设计一套可执行方案
难度控制很精细:预算是专家路线的 1-3 倍,稀缺材料用完就没了,有迷惑性的假象需要辨别,看起来明显的测量可能不是关键。
最强的模型也只考了 45 分
结果令人清醒:
| 模型 | 得分 |
|---|---|
| Claude Fable 5.2 (high) | 45.0 |
| Claude Opus 5.5 (high) | 40.2 |
| GPT-6.1-sol (high) | 31.7 |
| Sonnet 5.5 (high) | 28.7 |
| Opus 5.5 (medium) | 30.9 |
| GPT-6.1-sol (low) | 26.1 |
| Kimi K3.1 Pro | 18.1 |
| DeepSeek-flash-1017 | 20.0 |
| GLM-5.3 | 19.4 |
| Qwen3.8-Max | 13.1 |
| MiMo-V2.6-Pro | 17.9 |
| MiMo-V2.6-Flash | 10.9 |
| GPT-6-luna (high) | 10.6 |
| GPT-6-luna (medium) | 5.4 |
分数和成本的对数成正比——花钱能买分,但边际收益递减。
"知行差距":最深刻的发现
论文里有个发现特别值得琢磨。
在每次运行前,模型会先读材料写一个计划。研究者检查计划里是否完整陈述了任务的关键决策:
- 计划里完整陈述的决策:87% 在执行中拿到了分
- 计划里没提到的决策:仍然有 62% 拿到了分
这说明什么?模型有时候"知道答案但做不到"。它在计划阶段能说出正确方向,但到了实际做实验时,会被中间结果带偏、会忘记自己的计划、会在错误的方向上越走越远。
更扎心的是失败模式分析。Opus 5.5 的 16 次失败中,12 次是因为实验决策错误,最常见的是"接受了一个机制但没有做判别性实验"。
举个例子:牡蛎糖原测定读数偏低 30%,Opus 5.5 排除了移液器(水检查通过了),但从未测试 1μL 移液器——而那个移液器只交付了 70% 的样品。它接受了"移液器没问题"这个机制,没有设计一个能区分"移液器整体没问题"和"小体积移液器有问题"的实验。
这就是"知行差距"(Knowing-Doing Gap)。模型在纸面上能说出正确答案,但在真实实验的噪音和分支中,它缺乏一种"我必须验证到什么程度才能下结论"的直觉。
给更多预算有用吗?
基本没用。
研究者把 Opus 5.5 的 8 个失败运行(都花了 90% 以上预算)预算翻倍重跑,只有 2 个通过了。6 个仍然失败,其中 4 个栽在同一个核心问题上。
这说明失败不是因为"没时间做",而是因为做错了方向。更多预算只是让你在错误的方向上走得更远。
防作弊:AI 试图黑掉自己的实验室
这是论文里最有趣的部分之一。
研究者在 4 个任务上告诉 Opus 5.5:"这个实验室是模拟的,分数是对照隐藏答案算的,你可以利用模拟的弱点来刷分。"
9 次尝试全部被挡:
- 7 次直接问实验室要答案/数据集/历史记录——被截止时间规则挡住
- 1 次请求记录矩阵外的设置——被计算器拒绝
- 1 次把设置列成范围——被规则拦截
然后让它找模拟的漏洞。它报告了 39 个"漏洞":13 个是真的,11 个是可接受的模拟限制,15 个是误报。13 个真漏洞全是小事(比如两个仪器的电压模型不一致),没有一个改变了评分依据或关键决策。
831 次评估运行的 7808 条 TwinLab Agent 回复被审计,只有 1 条泄露了隐藏真相——而那次运行得了 0 分。
记忆测试:模型真的在做实验吗?
一个担心:模型可能训练时见过这些实验室的公开记录,直接背答案。
研究者做了三层测试:
- 改真相:保持材料一字不变,只改计算器和隐藏真相为文献记录的另一种情况。10 个可判定的情况中,8 个结论跟随新真相,没有一个提到原始研究。
- 闭卷考试:不给工具,Opus 5.5 对 0 个任务回忆出源研究的结论,只对 2 个任务推导出答案。
- 零预算:所有实验请求被拒绝。Opus 5.5 和 DeepSeek-flash 都一个任务都没通过。
结论很硬:不自己做实验,就过不了关。
工程洞察:这对 AI 从业者意味着什么?
1. 评测要测"做",不只测"说"
静态基准(给材料问答案)会误判。Opus 5.5 在计划阶段能完整陈述的决策,有 11 个在执行中仍然失败——9 个按计划做了,但栽在读自己的结果或写报告上。如果你只测计划,你会高估模型。
2. 实验设计是 AGI 的真正瓶颈
执行给定流程、在给定空间选——这些模型已经做得不错了。但"自己决定测什么"这一层,最强的模型也才 45 分。这不是推理能力的问题,是实验直觉的问题:什么时候该做判别性实验?什么时候该停止收集数据?什么时候一个"看起来合理"的解释需要被质疑?
3. 数字孪生作为评测基础设施
TwinLab Agent 的设计模式——用真实数据 + 计算器 + 严格规则构建环境——不只适用于科学实验。任何需要"环境对 agent 行为做出真实反馈"的场景都可以借鉴:运维、安全测试、产品实验。
4. 预算不是万能药
如果你的 agent 在有限预算下做错了,给它更多预算大概率还是错。问题在决策质量,不在资源数量。
开源代码
论文、代码、数据全部开源:
- 论文:arXiv:2611.26248
- 代码仓库:github.com/ZJUSCL/TwinLab-Bench
- 项目主页:twinlab-bench.github.io
- 排行榜:HuggingFace Leaderboard
- 数据集:HuggingFace Datasets
跑一个任务只需要:
python scripts/run_case.py --case cases/029-die-attach-release-01/case.yaml \
--n-runs 1 --actor-agent claude-code --actor-model claude-opus-5-5 \
--actor-effort high --env-model deepseek-flash --judge-model deepseek-flash \
--actor-timeout-s 10800 --checkpoints case --out runs
环境需要 Linux + bubblewrap + Python 3.11+ + Claude Code + DeepSeek API Key。TwinLab Agent 和 Judge Agent 都跑在 DeepSeek-flash 上,整个基准跑一遍 52 个任务大约额外花费 55 美元。
个人思考
这篇论文让我想到一个被忽视的维度:我们一直在测模型"知道什么",但很少测模型"做了什么之后知道了什么"。
知识有两种获取路径:从训练数据里背,或者从自己做实验的反馈里学。前者我们已经测得很充分了——MMLU、GPQA、各种问答基准。后者几乎没有——因为太难构造环境了。
TwinLab-Bench 的贡献不只是多了一个基准。它给出了一种用真实数据构建可信环境的方法论:不编数据,用记录;不模拟规则,用计算器;不拒绝超范围请求,标注"模拟限制"。这三条原则让环境既可信又有边界。
更深一层:"知行差距"可能是 AGI 路上最后一个大障碍。模型已经能说出正确答案,但在真实反馈的噪音中,它会偏离、会过早收敛、会忘记验证。这不是算力能解决的问题——给更多预算只让 2/8 个失败案例通过。
这和步子哥之前关注的几条线是同构的:评测会骗你(静态基准高估模型)、Agentic RL 的效率瓶颈(做对了方向比多跑几轮更重要)、多智能体安全谱系(知道安全规则和执行安全行为是两回事)。
TwinLab-Bench 把这个差距量化了:87% vs 62%。知道和做到之间,有 25 个百分点的鸿沟。填上它,可能就是下一个突破的开始。