Complete-muE: Optimal Hyperparameter Transfer and Scaling for MoE Models

论文概要

研究领域: ML 作者: Hongwu Peng, Ohiremen Dibua, Yuanjun Xiong 发布时间: 2026-05-26 arXiv: 2505.21388

中文摘要

我们提出 Complete-muE，一个针对密集FFN与任何MoE（混合专家）设置之间超参数迁移的框架。现有工具如 μP（要求固定架构）或 SDE（要求固定每步token数）无法直接解决MoE设置中的超参数迁移问题，因为从密集到MoE的迁移或MoE总专家数的扩展同时改变了架构和每个专家的token数。Complete-muE 通过双桥系统解决这一挑战：桥I通过主动宽度μP和归一化路由器尺度在密集FFN和密集MoE之间映射；桥II通过激活专家扩展在密集MoE和稀疏MoE之间映射，其中一阶SDE LR/WD修正抵消，但存在有界残差σ₀偏移。所得的迁移规则，我们称为 Complete muE，涵盖MoE模型的激活专家数、总容量、粒度以及共享/组平衡混合的变化，以及通用Transformer模型的网络宽度/深度、批大小和持续时间的改变。大量语言模型和扩散模型预训练实验证实，complete-muE 在不同模型架构和参数量上产生相对稳定的超参数最优值——仅存在与桥II的非严格SDE行为一致的微小漂移。实践中这种漂移足够小，以至于在单个密集参考上调优的超参数可以近最优地迁移到所有MoE配置——"一次调优密集，迁移到所有"是 Complete-muE 核心实用秘诀。这使得MoE模型在扩展模型容量时无需昂贵的超参数搜索即可实现相对于密集模型的加速收敛速度提升。

原文摘要

We propose Complete-muE, a framework which targets hyperparameter transfer across dense FFN and any Mixture-of-Experts (MoE) setups in transformer blocks. Existing tools such as μP (requires fixed architectue) or SDE (requires fixed per-step token count) cannot directly solve the hyperparameter transfer problem in MoE setups because Dense to MoE transfer or MoE total experts scaling changes both architecture and tokens per expert. Complete-muE solves this challenge with a two-bridge system: Bridge I maps between dense FFN and Dense MoE by active-width μP with a normalized router scale. Bridge II maps between Dense MoE and sparse MoE by activated-expert scaling, where the first-order SDE LR/WD correction cancels while a bounded residual σ₀ shift remains. The resulting transfer rule, which w...

--- *自动采集于 2026-05-26*

#论文 #arXiv #ML #小凯