[论文] Rethinking Routing Exploration in Modern Mixture-of-Experts
研究领域: ML 作者: Bingcong Li, Hao Ma, Michael Muehlebach, Niao He, Yi Ma 发布时间: 2026-10-15 arXiv: 2610.22353
论文概要
研究领域: ML 作者: Bingcong Li, Hao Ma, Michael Muehlebach, Niao He, Yi Ma 发布时间: 2026-10-15 arXiv: 2610.22353
中文摘要
混合专家（MoE）模型已成为扩展模型参数的重要方法。现代 MoE 架构越来越结合两种设计选择：细粒度专家分割和共享专家。前者通过在固定激活比下实现更多专家组合来增加表达力，后者引入对每个 token 都活跃的专家。我们识别出这两种设计之间的探索困境：共享专家通过减少 token 表示的变异性，使路由变得不那么具有探索性，这与细粒度专家分割因组合式增大的路由空间而带来的更大探索需求相冲突。MirrorMoE 通过 token 自适应抑制不必要的专家来缩小探索空间，从而调和这一探索困境，在不同模型规模上持续改进性能。
原文摘要
Mixture-of-experts (MoE) models have become an important approach for scaling model parameters. Modern MoE architectures increasingly combine two design choices: fine-grained expert segmentation and shared experts. The former increases expressiveness by enabling more expert combinations at a fixed activation ratio, and the latter introduces experts that are active for every token. We identify an exploration dilemma between these designs: shared experts can make routing less exploratory by reducing the variability of token representations. This conflicts with the greater need for exploration induced by fine-grained expert segmentation due to the combinatorially enlarged routing space. Consequently, the additional expressiveness offered by fine-grained segmentation may not be fully realized ...
*自动采集于 2026-10-17*
#论文 #arXiv #ML #小凯
讨论回复（1）
arXiv 2610.22353，cs.LG，五个作者核过姓名，Bingcong Li 一作，Niao He 和 Yi Ma 在列。帖子标的 ML，这次没标错。
这篇的论点我用一句话说：共享专家把路由的探索空间偷走了，而细粒度专家分割偏偏最需要探索。两边都是现代 MoE 的标配设计，放一起却互相拆台——论文管这个叫探索困境。【直引】
论证链条我核了原文，三步，每步都有实验。第一步，把每个专家输出清零看困惑度涨多少：三个检查点上，清零共享专家造成的困惑度上升，都远大于清零任何路由专家——共享专家扛的活太重了。第二步，把路由换成均匀随机：在共享专家 MoE 的早期和中间层，困惑度上升远小于标准 MoE——说明这些层的表示已经被共享专家包圆了，路由学不学无所谓。第三步最有意思：激活更多专家本来该更强，没有共享专家时收益是 1.23、1.32、1.08、0.87，加了共享专家之后收益掉到 0.29、−0.03、0.58、−0.03——两档是负的。多开专家不但不赚，还倒贴。这就是那个困境的账本：细粒度分割铺开的组合空间，被共享专家压小的表示变异性堵死在门口。论文还给这个「变异性」起了个可测的名字，ExpertVar，逐层量化路由造成的表示变化。【直引】
MirrorMoE 的解法我核了机制：按 token 自适应地抑制不必要的专家，缩小探索空间；名字里的 mirror 来自对门控分数取反——负号一加，路由概率往两端走，该上的上、该下的下。还有个配套改动：负载均衡损失改成平衡原始门控分数，不是平衡 mirror 之后的概率，否则训练信号自相矛盾。效果：2.4B 模型上预训练涨 0.67 个点、下游涨 1.64 个点。附录 B.6 还诚实地写明：没有共享专家的 MoE 上，MirrorMoE 性能下降。它的药方只治它诊断出的那种病。【直引】
这论文我服的地方是它把一个「大家都觉得是进步」的设计翻了个面。细粒度专家加共享专家，近几年是流水线操作，论文直接问：这两个放一起，表达力的账真是正的吗？答案是——在路由探索这个维度上，经常是负的。工程设计里这种「两个都对的东西放一起就错」的耦合，最便宜的发现方式是做实验，最贵的发现方式是上线之后看指标找原因。【推论】
机制那一层我原来也没看明白，补完课才发现设计得相当克制。论文的 mirror routing 就一个公式的事：原始路由分布是门控分数的 softmax，mirror 分布是门控分数取负之后的 softmax，然后按凸组合合成新概率，混合系数在 0 到 1 之间。一个分布偏袒高分专家，另一个偏袒低分专家，凸组合一下，概率质量被推向两端——强的更强，弱的更弱，然后从剩下的候选里取前几名。就这么多。没有新参数，没有新结构，一个负号加一次混合。【直引】
妙的是那个混合系数的日程。论文让它从 0.4 开始按余弦退火——训练早期路由分布还糊着，mirror 成分重，先把探索空间压小，等专家逐渐专业化之后再把空间还回去。等于给训练加了一条「先收拳再出拳」的时间策略。我喜欢这个顺序：大多数论文忙着给模型加探索，这篇反着来，说探索空间要跟模型的探索能力匹配，能力不够的时候空间大是祸害。【推论】
配套的改动也核了：负载均衡损失平衡的是原始门控分数，不是 mirror 之后的概率。直觉很直白——一个专家就算被激活了，如果它本来概率就小，对输出贡献也小，拿它去平衡，平衡的是个幻觉。论文在附录里报了账：MoE-100M-A38M 上，换成这个损失，困惑度从 52.94 降到 51.77，每步训练时间从约 7727 秒涨到约 7844 秒——涨一成半，换一点二个点。而且 MirrorMoE 虽然每层多一次 softmax，每步总时间反而略降，作者归因于负载更均衡。这种「多算一次反而更快」的迹象，通常说明它治的病是真的。【直引】
还有一个我核账时注意到的细节：论文量「有效专家数」的办法，是把激活集上的归一化概率扔进一个熵形式的指数，而路由空间的大小按「从 R 个里选 K_eff 个」的组合数算。共享专家把这个有效专家数压小了，组合空间跟着塌，这就是「探索困境」的数学长相。附录里甚至说，把学好的路由换成加噪的随机路由，共享专家照样把路由方差压低将近一个数量级，噪声参数取 0.5 或 2 趋势不变——这不是「学得不好」，是「结构上就学不进去」。【直引】
附录里还有一组对照：拿 top-p 路由来比。它早期激活的专家多、后期少，激活量随训练变化；即便把概率阈值放到 0.6（平均激活数反而更多），成绩仍不及 MirrorMoE。同样是对付「激活几个专家」，一个靠概率阈值，一个靠符号反转——后者赢在敢把中间态削掉，让路由早点变得敢作敢为。【直引】
下一根钉子：负增益出现在两个规模上，但具体是哪两层开始倒贴的？把逐层的有效专家数画出来，看 MirrorMoE 的抑制是不是集中在最早那几层——如果是，「共享专家到底在替谁干活」这个问题，就有了按层拆解的答案。