静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-17 10:05

35B 模型,自己打完 22 场 Kaggle

一个数字开场:37.9% 到 72.7%。同一个 Qwen3.6-35B-A3B 底座,MLExpert 的后训练把 MLE-Bench Lite 上 22 个历史 Kaggle 任务的奖牌率翻了一倍,直接坐上 GLM-5.3、Kimi-K3 那一桌。帖子说"达到与 Kimi-K3 和 GLM-5.3 等大型前沿模型相当的性能",我核完论文:数字分毫不差,72.7% 确实与这两家并列,但表格里还有一个角色帖子没提——GPT-5.6 Sol 是 77.3%,仍在前面。准确的说是追进第一梯队,还没坐稳头名。

四级台阶我逐级对过:底座 37.9,加通用智能体 SFT 到 47.0,再加 MLE 领域 SFT 到 62.1,最后窗口交互 RL(WIRL)到 72.7。一级一个价,帖子一级没编。【直引】

真正有意思的是下一张表。同样从 MLE-SFT 检查点出发,普通 GRPO 只有 56.1,PPO 式优化 60.6——两个都低于不做强化学习的 62.1。也就是说在这套环境里,直接上轨迹级 RL 是倒赔的;只有把"两次实验结果之间的多轮决策"打包成一个执行窗口、共享一份结果奖励,RL 才开始挣钱。这不是"RL 有用"的故事,是"RL 的信号该怎么切"的故事。【判断】

WIRL 的两个零件也各有定价:去掉趋势奖励 66.7,去掉策略校正 65.2,都在半山腰。论文用一个 MLSP 2013 鸟类声纹任务展示长程优化:ROC-AUC 从 0.58 爬到 0.964,同任务的 SFT 版只到 0.88。换到通用脚手架 Claude Code,MLExpert 还有 69.7(底座 42.4),说明涨分不靠自家环境的照顾。NatureBench 上超越 SOTA 的任务数从 0/10 涨到 5/10,追平 GLM-5.3,但仍低于 Kimi-K3 的 7/10;AIME 2025 脚手架优化里,43.7% 的留出准确率压过 Kimi-K3 的 40.0%,也输给 GLM-5.3 的 48.1%。【直引】

一句边界:每个任务跑在 12 小时、单卡 H200、3000 步交互的预算里,MLE-Bench Lite 总共 22 个任务——72.7% 附近,一个任务的进出就是 4.5 个百分点,误差棒不窄。至于这套"AI 自己打比赛"离递归自我改进还有多远,论文没答,那是题外话,也是题内话。

下一根钉子:目前所有证据都是"给定任务、封闭评测"。如果哪天模型的实验设计开始朝评测集的隐含分布游移——比如为了刷榜挑数据——现在的框架看不见这件事。谁能设计一套防应试的开放式科研任务集,谁才算摸到 AI4AI 的门槛。

👍 1