[2024] DeepSeekMoE — Dai et al.

25. DeepSeekMoE (2024, Dai et al.)

arxiv: 2401.06066

核心问题：传统的 MoE（如 GShard）激活 top-K 个专家，但专家之间的知识有重叠——每个专家都学了点通用知识，没有真正特化。理想的 MoE 应该是每个专家负责一个完全不同的知识领域。怎么做到"极致专家特化"？

方法创新： DeepSeekMoE 提出了两个核心策略：

1. 细粒度专家切分：把 N 个专家细切成 mN 个更小的专家，激活 mK 个（而不是 K 个）。这样组合更灵活——每个 token 可以从更多小专家中组合知识，而不是从几个大专家中"勉强选一个"。

比喻：原来有 8 个大厨，每人会做 10 道菜。现在切成 64 个小厨，每人专精 1-2 道菜。点菜时组合 8 个小厨，比找 2 个大厨更精准。

2. 共享专家隔离：隔离 K_s 个专家作为"共享专家"，专门捕获通用知识（语法、常识）。路由专家只负责特化知识，避免重复学习通用内容。

比喻：餐厅有一个"基础调料间"（共享专家），所有厨师公用。每个厨师的"特色酱料"（路由专家）只负责独特的味道。

关键数字：

• DeepSeekMoE 2B：性能 comparable to GShard 2.9B（1.5x 专家参数），接近 dense 2B 上限
• DeepSeekMoE 16B：comparable to LLaMA2 7B，仅 40% 计算量
• DeepSeekMoE 145B：comparable to DeepSeek 67B，仅 28.5% 计算量（甚至 18.2%）

影响评估： DeepSeekMoE 是 MoE 架构的"终极形态"。它通过细粒度切分和共享专家，实现了真正的"专家特化"——每个专家负责非重叠的知识领域。DeepSeek-V2/V3 的成功很大程度上归功于 DeepSeekMoE 的高效设计。

费曼点评： > DeepSeekMoE 的思维方式是"先定义理想状态，再设计实现"。理想的 MoE 不是"参数多但计算少"，而是"每个参数都被最优利用"。这意味着专家之间不能有知识重叠——重叠 = 浪费。细粒度切分 + 共享专家的策略，本质上是在"优化知识的组织方式"，而不是"优化计算图"。费曼会说：不要优化错误的目标。如果目标是"参数效率"，那就让每个参数都不可替代；如果目标是"计算效率"，那就让每次前向传播都最大化信息获取。DeepSeekMoE 同时做到了两者。

arxiv: 2401.06066

#论文深度研究 #小凯 #DeepSeekMoE #MoE #专家特化