🧪 厨房里的尺子：MAGI 的主厨亲手递了菜却忘了量
这篇论文标题玩了一个非常漂亮的双关——From Benchmark to Bench。Benchmark 是健身房里跑步机上的成绩单，Bench 是实验台上见血的真刀真枪。全文说的是「健身房冠军第一次走进荒野」的故事。【直引】
讲背景。先导优化（lead optimization）是药物研发最烧钱的一段，DMTA 循环转一圈几周、转几十圈几年，靠的是评分函数。REINVENT 4 是当前生产级的分子生成框架，刀工一流，但只认专家喂给它的评分函数，菜谱错了它看不见。这几年的「药物 agent」评测大多只问两件事：工具执行得对不对，通用分子基准跑分高不高——只考察厨师的刀工，从没尝过他做的菜。
MAGI 想做的恰恰是后者。它来自 AMD Silo AI（斯德哥尔摩/赫尔辛基）和 AstraZeneca（剑桥/哥德堡），后端是 Claude Sonnet 4.6，通过 MCP 暴露 24 个工具【直引】，跑九场回顾性的先导优化战役：GSK 四个 BET BD2 系列、Sanofi 四个 RetroDMTA 项目（FXa、MMP8、PPARδ、RENIN），外加一个未公开的 AstraZeneca 战役。每个战役只给一个起始化合物加 4 个实测类似物，跑 5 轮迭代优化。【直引】
最有信息量的设计是 TTP（治疗目标档案）：一张点菜单，化学家对每道菜（每个优化目标）写清楚谁来评分、往哪做、做到什么算合格、整桌里这道菜有多重要，另有护栏单独 pass/fail 评估。任何端点缺数据就标「不可评估」，绝不许大模型估一个数填上去。【直引】多目标用 Derringer-Suich 加权几何平均——几何平均直接打回那种「一条腿飞起、一条腿截肢」的组合，某个端点彻底报废的分子不许靠另一个端点逆天平均出「还行」。这条纪律与「模型在评分上学会了什么」高度相关：它从评分函数侧把「短板」钉死。
接下来是这两条出菜路线的对照——同一间厨房、同一验货员：LLM 路线直接提名短名单，每轮约 5 个分子；REINVENT 路线让 agent 自己撰写和更新 TTP、启动监控任务、取回生成池、再从中选短名单。【直引】结果第一页就是「性格相反的双胞胎」：LLM 路线是聚焦的局部优化器，紧贴所示化学做小幅改造，用更少的操作达到相当甚至更高的主端点活性；REINVENT 路线是更广的空间探索者，新颖性、多样性更高，代价是可观测操作数是 LLM 路线的 4 到 9 倍。RL 循环在内部每次战役还多探索约 10 万个结构。【直引】一边像狙击手，一边像集团军。
最硬的部分来了：论文的答案是赢家的名字不在两条路线里——目标达成由评分模型决定，不由生成路线决定。九个战役中 GSK 的三个系列加 AZ 战役达成目标，两场失败精确对应评分模型的适用域出界。GSK-S1 失败的原因是主端点动力学溶解度的目标值落在模型训练数据覆盖范围之外；RENIN 失败的原因是配体模型在扣住集上的排序相关系数只有约 0.31。【直引】两场失败的画风不同：一场是模型从没见过这个量程（外推），一场是模型见过但记混了（弱排序）。病因不同，结局一样。
我想为这个结论加一个解释【推论】：评分模型能拥有这么大权力，是因为在整套系统里 agent 的每个决策都要经由评分服务表达——评分服务是 oracle，oracle 的适用域就是 agent 的能力边界。厨师每个决定最后都要过验货员那关，验货员的尺子在哪失效，厨房的天花板就钉在哪。这是个非常不性感的结论，但它是这一类 agent 系统未来最重要的工程纪律。
全论文最动人的一幕在 GSK-S1——这场战役主端点是动力学溶解度，前面说了目标值在模型训练范围之外，按常理 agent 会硬磕五轮交一份「已尽力」报告。MAGI 里的 agent 没这么干，它发现端点持续没改善，自主把热力学溶解度提为代理端点——两种溶解度物理上相关，而热力学溶解度在模型能力范围之内——随后提案出现真实改善。【直引】考卷上有题超纲，它没瞎编答案也没交白卷，而是找了一道等价的、自己会做的题，并且先跟评分系统商量好了再答。文献管这类动作叫 evidence-motivated 的目标变更。
另外有个图灵测试结果值得念一下：四位化学家 28 个评审问题，分辨不出哪些分子出自 agent 哪些是被扣住的、当年人类做出来并实测过的化合物。【直引】这个盲评证明的是「分辨不出」，不是「无可挑剔」——它只是和当年人类做的一样好，一样会被评分模型的近视传染。这是非常冷静的一句话。
下一根钉子：从这篇里还能再压出一个方法论问题——当 agent 自己改了目标（GSK-S1 的热力学溶解度代理），评分服务的「适用域」也跟着扩大了一圈，下次它又出界怎么办？适用域是动态的，TTP 里写的「目标值」也应该跟着评分模型的最近一次表现滑动；否则代理端点用久了，又会变成新的出界起点。