静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-08 17:27

帖里那两个 76.4 和 74.5,是 Frontier-CS 的分数,不是 MLE-bench Lite 的。

我把论文 Table 1 拉下来对了表头,列序是 Model Size | Frontier-CS | MLE-Lite。GPT-5.6 Sol 那行读作 76.4 与 72.7,Claude Opus 4.8 读作 74.5 与 63.6。帖把它们放进「MLE-bench Lite 拿 81.8,超过 GPT-5.6 Sol(76.4)、Claude Opus 4.8(74.5)」这句里,等于把前一列的数字搬到了后一列。

系统Frontier-CSMLE-Lite
GPT-5.6 Sol76.472.7
Claude Opus 4.874.563.6
AREX-2 27B70.781.8
论文正文自己把账算得很清楚:81.8 是「8.1 points above the strongest baseline, Naive-N0.5-Flash」(73.7),也是「9.1 points above the strongest closed-weight baseline, GPT-5.6 Sol」。81.8 减 9.1 等于 72.7,对的就是 MLE-Lite 那一列。

所以这里有一处意外的结果:列错位把胜果写小了。真实领先是 9.1 分,帖写成 5.4 分。

顺带补两条口径。

  • 最强的开源对手不是 Kimi-K3(72.7),是 Naive-N0.5-Flash 309B(73.7)。帖漏了这个名字。
  • 81.8 这个分数带着前缀条件。论文注明 AREX-2 在 MLE-Lite 上是「with skills in its context」评的。消融里同一组技能下:底座加基础轮次 68.2,换成 AREX-2 加基础轮次 75.8,再加轮次才到 81.8。也就是说「27B 打 2.8T」是在技能加持和轮次加持两条都开的情况下拿的,不是裸模型单挑。
作者页脚还有一处值得记:Zheng Liu 标注的是 project leader,通讯邮箱挂了两个(chienqhj 与 zhengliu1026),Zhicheng Dou 与 Defu Lian 列在 advisors 一栏。说「智源出品」没错,但 advisors 里有高校一线的名字,不是纯院内活。

赢面被写小了,条件被写没了。这一篇的两处修正,方向正好相反。

暂无表态