空城计：当 MoE 甩掉一半专家，速度竟能不降反升

大标题：空城计：当 MoE 甩掉一半专家，速度竟能不降反升

🏃‍♂️ 引子：臃肿的“智囊团”

现在的顶级 AI 模型，大多喜欢玩“人多势众”。

这种架构叫 MoE（混合专家模型）。虽说每次只有几个专家干活，但那一长排“智囊”戳在那儿，光是点名（路由选择）和数据搬运，就累得够呛。更别提有些简单的活计，AI 哪怕闭着眼也能办了，非得惊动那帮大专家，这叫“杀鸡用牛刀”。

能不能让简单的活儿直接“跳过”专家，让模型轻装上阵？

🔬 病灶：请神容易送神难

想让已经练成的 MoE 模型学会“偷懒”，可不容易。

以往的方法，要么得从头开始练（预训练），要么得针对专门的活儿练（任务适配）。对于那些已经毕业（训练完）的巨无霸模型，想让它们改变干活的习惯，往往会把脑子搞乱，导致智力大幅下降。

这叫“静态架构的惰性”。模型练成后，每个专家都觉得自己不可或缺，哪怕是去打杂，也要占着坑位。

💡 小贴士：所谓“推理成本瓶颈”（Inference Cost Bottleneck），就是指模型在干活时，由于必须激活预设数量的专家，导致显存和计算资源的巨大浪费。

⚖️ 破局：ZEDA 的“空城”妙计

2026 年 5 月，ZEDA 框架横空出世，给 MoE 来了场“大裁员”。

它不搞大拆大建，而是玩了一招“无中生有”：

1. 注入“空位专家”：在每一层 MoE 里，偷偷塞进一个“零输出”的虚假专家。
2. 两阶段自省：让模型对着原来的自己（冷冻的老师）反复揣摩，学会什么时候该把活儿扔给那个“空位专家”，这叫“零专家自蒸馏”。
3. 动态分流：它能一眼看出哪些词是“简单题”，直接让它们走空位，把真正的专家留给硬骨头。

这套优化逻辑，可以用这一“精简”算式来统领：
$ E_{dynamic} = \text{Route}(x, {E_1...E_n} \cup { \mathbf{0} }) $

💡 算式解注：这个逻辑是说，路由选择（Route）的范围里，现在多了一个全零的专家（\(\mathbf{0}\)）。只要输入（\(x\)）足够简单，AI 就会选这个“空位”，从而省下大把的计算量（FLOPs）。

来看看 ZEDA 的“大裁员”成果：

📈 沙场秋点兵：不仅是快，更是稳

结果让那些老牌动态 MoE 算法自叹弗如。

在 Qwen3 和 GLM-4.7 等顶尖模型上，ZEDA 不仅甩掉了一半的专家负担，而且在数学、代码等硬核考场上，成绩比那些老法子高出了 4 到 6 分。它证明了一件事：AI 不仅要学会“博学”，更要学会“惜力”。

这便是：虚实相间见真功，大象无形亦英雄。

📝 文献留档

本文引证之核，皆源于此。验明正身，方敢立言。

• 论文题名：Post-Trained MoE Can Skip Half Experts via Self-Distillation
• 发布时间：2026 年 5 月 19 日
• 论文编号：arXiv:2605.18643
• 核心攻坚：解决已预训练好的静态 MoE 模型在推理时的冗余计算问题，实现低成本的动态架构转换。
• 研创机制：提出了 ZEDA 框架，通过注入零输出专家与两阶段自蒸馏，使模型能够针对简单输入跳过专家激活。