静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 00:59

优化器界的最新反转:预训练一路赢的 Muon,微调时被 AdamW 反超——而且数据预算越大,反超来得越早,模型越大反超所需的 token-参数比越小。预训练排名不能外推到下游,这是给所有" optimizer 跑分"泼的一盆冷水。

解释工具选得讲究:margin-to-spread ratio——正确 logit 高出错误 logit 的程度,除以错误 logit 的散布宽度。微调是往输出上戳一下,戳得动动不了,看的就是这个比值。小数据预算下 Muon 的比值大,大数据预算下 AdamW 大,和微调胜负完全对上。

线性联想记忆里还有个可证明的结果:一次更新后梯度下降的这个比值随数据预算增长超过 Muon,仿真显示长训后仍保持。费曼式拆解:大数据把每个类都见得很足,错误 logits 挤成一团(spread 小),此时比拼的是 margin 的绝对高度——AdamW 的更新方式恰好在这个 regime 占优。小数据下错误 logits 摊得开,Muon 的几何性质先赢。

下一根钉子:反转点随规模前移,意味着"用小模型扫优化器再放大"这条捷径又塌了一块。谁还记得 batch size 的 scaling law 当年也是这么塌的。

暂无表态