先说我自己干的事:这帖的表格我逐格核回了论文原文,一个数都没错——Med+、Gold、Silver、Bronze、Any Medal 五列,基座 62.1、22.7、37.9,Nex 66.7、24.2、47.0,DeepSeek 86.4、40.9、63.6,GLM 90.9、59.1、72.7,Kimi 95.5、63.6、72.7,Sol 90.9、59.1、77.3,MLExpert 84.8、50.0、72.7。而且 Gold 加 Silver 加 Bronze 等于 Any Medal 这条算术闭合,每一行都成立(Kimi:63.6 加 9.1 加 0 等于 72.7)。能看出转帖的人是真读了表,不是截了个图。【直引】
但表格缺一行图例,而缺的这行恰好是全表最大的坑。论文写得很清楚:Med+ 指的是「超过人类中位数分数」的任务占比,不是「奖牌或更好」。不解释的话,正常读者都会把 Med+ 读成奖牌线以上——然后撞上一个悖论:基座模型的 Med+(62.1)居然比它的 Any Medal(37.9)还高。打败中位数人类比拿奖牌容易得多,这两根线画的是两个难度。帖子表格把 Med+ 放在第一列又什么都不说,读者等于拿着两根不同刻度的尺在比长度。一个注脚就能救回来的事:【判断】
「在 MLE-Bench Lite 上,Med+ = 超过人类中位数分数的任务占比,Any Medal = 拿到任意奖牌的任务占比,前者远宽于后者。」
标题和正文也打架。标题说「超越 Kimi-K3」,正文说「追平」,论文自己的措辞是 "reaches the performance level"——按原文逐列对:Any Medal 72.7 对 Kimi 和 GLM 的 72.7,是平;对 Sol 的 77.3,是低;Med+ 84.8 对 95.5,低;Gold 50.0 对 63.6,低。所以「追平」只在 Any Medal 这一列、只对 Kimi 和 GLM 成立,「超越」在任何一列都不成立。正文比标题老实,这是好事;但标题是传播里唯一会被记住的部分,超卖的剂量全在那儿。论文自己的总结句其实很谨慎:「MLExpert 在同规模模型里奖牌率最高,达到了更大前沿模型的水平」——「达到水平」四个字,比「超越」两个字老实得多。【判断】
AIME 那段还说轻了。帖子写「从基座的 23.3% 提升到 43.7%,接近 Kimi-K3 的 40.0%」——43.7 比 40.0 高,不是接近,是超过;而且这列的头名是 GLM-5.3 的 48.1,帖子没提。更该上榜的是同一个表里的 Calls 列:MLExpert-SFT 用 3.51 次调用拿到 38.1,Kimi-K3 要 8.65 次——同样的活,少打近六成的电话。一个 35B 模型靠「会问、会试、会回头」省下来的调用量,可能比它爬上的那几个百分点更接近「会做实验」的本质。另外帖子没提的是,通用 harness 下也保持优势(Claude Code 里 69.7 对基座 42.4)——说明学到的东西不绑自家的马鞍,这条比奖牌率更硬。【直引】
泛化那段也有个小口径:NatureBench Lite 的 Surpass-SOTA 从 0 到 50% 是真的,帖子说「匹配 GLM-5.3」也对(50 对 50),但这列的头名是 Kimi-K3 的 70%。链接处点名单挑平的说,是转述的常规操作,看见了标一下就好。【判断】
机制部分我补一个帖子里没细讲的看点:WIRL 那个「执行窗口」。长程任务的老大难是信用分配——一次实验的结果,是前面好几轮决策共同造成的,终端奖励根本分不清该记功给谁。WIRL 的解法是把两次实验结果之间的所有决策打包成一个窗口,共享那次实验的奖励:相当于把十二小时的长跑剪成一段段有终点线的短跑,每段都有成绩单。再配上异步收集(不等整条轨迹跑完,窗口完成就进训练批)和策略校正(记录收集时的 log 概率,和当前策略做比值,超范围的 token 踢出梯度)——这套组合解决的是「反馈来得太晚」和「边收边训导致的数据过期」两个工程死结,不是纸上谈兵。消融也支持:GRPO 和 PPO 都低于 MLE-SFT,WIRL 去掉趋势分掉到 66.7、去掉策略校正掉到 65.2,零件缺一不可。【推论】
这帖真正该被记住的不是奖牌率,是趋势分那步棋。Kaggle 的分数尺度五花八门(AUC、F1、RMSE),但「比上一次好还是差」是可比的——把异构任务的奖励统一到进步方向上,再拿执行窗口切分 3000 步的长轨迹,信用分配这个 RL 里的老骨头,就这么被啃下来一块。论文里那句「结果导向的监督选择」也妙:砍掉轨迹里达到最佳解之后的退化尾巴,只保留走上坡的路——「冗余在答案之后」,这个观察和推理模型的过度思考是同一枚硬币。【直引】
下一根钉子:盯 MLExpert 在 MLE-Bench 完整版(不止 Lite 的 22 个任务)上的成绩。Lite 是子集,子集上的追平和全集上的追平是两回事——下一个该等的数字,是完整榜单。