表格深度学习的"默认选项"可能选错了：Muon 优化器全面碾压 AdamW

Benchmarking Optimizers for MLPs in Tabular Deep Learning Yury Gorishniy, Ivan Rubachev, Dmitrii Feoktistov | arXiv: 2504.13081 | 2025

一个被忽视的选择

在表格数据的深度学习中，有一个"默认配置"几乎没人质疑：

• 架构：MLP（多层感知机）
• 优化器：AdamW

就像买电脑默认选 Windows 一样，训练表格模型默认用 AdamW 已经成了行业惯例。架构设计方面，研究者们已经做了大量工作——TabNet、FT-Transformer、rtdl-num 等等，各种新架构层出不穷。但优化器的选择呢？几乎没人系统研究过。

这篇论文问了一个很朴素的问题：AdamW 真的是最好的选择吗？

答案是：不是。

系统基准测试：N 个优化器 × N 个数据集

研究者在统一的实验协议下，用多个表格数据集基准测试了多个优化器，训练的都是标准的 MLP 模型。

核心发现：Muon 优化器始终优于 AdamW。

Muon 是一个相对较新的优化器，由 Keller、Mokhtari 和 Schlichtkrull 在 2024 年提出。它基于矩阵正交化，特别适合高维参数空间的优化。在 NLP 和 CV 领域已经显示出前景，但在表格深度学习领域还没有被系统评估过。

另一个发现：EMA 是免费的性能提升

研究者还发现了一个简单但有效的技巧：模型权重的指数移动平均（EMA）。

EMA 的原理很简单：不直接使用训练过程中的最新权重，而是维护一个权重的移动平均值。这相当于对训练过程做了"平滑"，通常能带来更稳定的泛化性能。

在普通 MLP 上，EMA 能显著提升 AdamW 的性能。不过这个技巧在不同模型变体上的效果不太一致——有些架构受益很大，有些几乎没变化。

实用建议

这篇论文给出了很直接的实践建议：

1. 如果你能承受额外的训练开销，用 Muon 替代 AdamW。Muon 的性能一致更好，但训练效率略低（每个 step 的计算量更大）。
2. 如果必须用 AdamW，加上 EMA。这是一个几乎零成本的提升。
3. 不要盲目使用默认配置。优化器的选择和架构设计一样重要。

我的思考

这篇论文的价值在于它的"反共识"勇气。在一个"大家都这么用"的领域，站出来说"默认选项可能不是最优的"，需要扎实的实验支撑。

这也反映了一个更广泛的问题：在深度学习中，很多"最佳实践"其实缺乏系统的实验验证。大家用 AdamW，不是因为有人证明了它是最优的，而是因为"别人都在用"。这种"默认惯性"可能让我们错过了更好的选择。

Muon 能在表格数据上一致胜出，可能是因为表格数据的特征空间结构与 NLP/CV 不同——表格特征通常是低维、稠密的，而 Muon 的矩阵正交化机制可能更适合这种结构。

论文：arxiv.org/abs/2504.13081

费曼来信：你是想用“蛮力”推车，还是学会“借力”滑行？——聊聊 Muon 优化器

读完关于 Muon 优化器 在表格深度学习中的逆袭，我感觉深度学习圈的“默认路径依赖”终于被打碎了一角。

为了让你明白为什么 AdamW 并不总是唯一的真理，咱们来聊聊“走路”这件事。

1. AdamW：那个稳重但有点“死板”的老大哥

几乎所有的深度学习教程都会告诉你：训练模型，默认用 AdamW 就对了。 AdamW 就像是一个极其稳重的向导。他会根据地形（梯度）调节步长。虽然他在大多数山路（NLP、CV 任务）上都走得很稳，但他有个毛病：他假设所有的地面都是一样的。

2. Muon：那个学会了“正交化”的舞者

Muon 这个名字听起来很玄，其实它就干了一件非常具有“极简主义”色彩的事：矩阵正交化。

如果你在训练一个 MLP（多层感知机）去处理那些枯燥的表格数据：

• 正交的力量：Muon 在更新参数时，会强迫每一层神经元之间的连接保持“互相独立（正交）”。
• 直观类比：这就好比 AdamW 是在泥地里推车，费劲巴拉地找方向；而 Muon 则是给车轮装上了导轨，确保每一分力都花在了“不重叠”的维度上。

结果就是： 在表格数据这种特征维数不高、但极其稠密的场景下，Muon 展现出了全方位的降维打击，收敛速度和精度双双碾压了老大哥 AdamW。

3. 费曼式的感悟：反思“默认配置”

所谓的“最佳实践”，往往只是**“大多数人的平均懒惰”**。

我们用 AdamW，并不是因为有人证明了它在你的数据集上最强，而是因为“别人都在用”。 Muon 的出现提醒我们：不同的数据土壤（表格 vs 文本），需要完全不同的“抓地工具”。

带走的启发： 在进行模型优化时，别只盯着架构看。 去看看你的**“优化器”**。如果你的模型在原地打转，也许不是脑子不够灵，而是你的“走路方式”根本不适合这片土地。 勇于挑战共识，你才能发现那条隐藏在默认路径之外的捷径。

#MuonOptimizer #DeepLearning #MLP #TabularData #AdamW #FeynmanLearning #智柴算法实验室🎙️