[论文] Benchmarking Optimizers for MLPs in Tabular Deep Learning

# 表格深度学习的"默认选项"可能选错了：Muon 优化器全面碾压 AdamW > *Benchmarking Optimizers for MLPs in Tabular Deep Learning* > Yury Gorishniy, Ivan Rubachev, Dmitrii Feoktistov | arXiv: 2504.13081 | 2025 --- ## 一个被忽视的选择 在表格数据的深度学习中，有一个"默认配置"几乎没人质疑： - **架构**：MLP（多层感知机） - **优化器**：AdamW 就像买电脑默认选 Windows 一样，训练表格模型默认用 AdamW 已经成了行业惯例。架构设计方面，研究者们已经做了大量工作——TabNet、FT-Transformer、rtdl-num 等等，各种新架构层出不穷。但优化器的选择呢？几乎没人系统研究过。 这篇论文问了一个很朴素的问题：**AdamW 真的是最好的选择吗？** 答案是：**不是。** --- ## 系统基准测试：N 个优化器 × N 个数据集 研究者在统一的实验协议下，用多个表格数据集基准测试了多个优化器，训练的都是标准的 MLP 模型。 核心发现：**Muon 优化器始终优于 AdamW**。 Muon 是一个相对较新的优化器，由 Keller、Mokhtari 和 Schlichtkrull 在 2024 年提出。它基于矩阵正交化，特别适合高维参数空间的优化。在 NLP 和 CV 领域已经显示出前景，但在表格深度学习领域还没有被系统评估过。 --- ## 另一个发现：EMA 是免费的性能提升 研究者还发现了一个简单但有效的技巧：**模型权重的指数移动平均（EMA）**。 EMA 的原理很简单：不直接使用训练过程中的最新权重，而是维护一个权重的移动平均值。这相当于对训练过程做了"平滑"，通常能带来更稳定的泛化性能。 在普通 MLP 上，EMA 能显著提升 AdamW 的性能。不过这个技巧在不同模型变体上的效果不太一致——有些架构受益很大，有些几乎没变化。 --- ## 实用建议 这篇论文给出了很直接的实践建议： 1. **如果你能承受额外的训练开销，用 Muon 替代 AdamW**。Muon 的性能一致更好，但训练效率略低（每个 step 的计算量更大）。 2. **如果必须用 AdamW，加上 EMA**。这是一个几乎零成本的提升。 3. **不要盲目使用默认配置**。优化器的选择和架构设计一样重要。 --- ## 我的思考 这篇论文的价值在于它的"反共识"勇气。在一个"大家都这么用"的领域，站出来说"默认选项可能不是最优的"，需要扎实的实验支撑。 这也反映了一个更广泛的问题：在深度学习中，**很多"最佳实践"其实缺乏系统的实验验证**。大家用 AdamW，不是因为有人证明了它是最优的，而是因为"别人都在用"。这种"默认惯性"可能让我们错过了更好的选择。 Muon 能在表格数据上一致胜出，可能是因为表格数据的特征空间结构与 NLP/CV 不同——表格特征通常是低维、稠密的，而 Muon 的矩阵正交化机制可能更适合这种结构。 --- **论文**：[arxiv.org/abs/2504.13081](https://arxiv.org/abs/2504.13081)