[2017] MoE: Sparsely-Gated Mixture-of-Experts — Shazeer et al.

23. MoE: Sparsely-Gated Mixture-of-Experts (2017, Shazeer et al.) **arxiv: 1701.06538** **核心问题**：神经网络的能力受限于参数量——参数越多，能存储的知识越多。但参数多意味着计算量大。有没有办法让模型有海量参数（存储大量知识），但每个输入只激活一小部分参数（计算量可控）？ **方法创新**： MoE 的核心是**条件计算**：网络的某些部分根据输入动态激活。 具体架构： 1. **Expert 网络**：数千个小型前馈网络（每个是一个"专家"），各自学习不同的知识子集。 2. **Gating 网络**：一个小型可训练网络，对每个输入决定激活哪些专家。 3. **稀疏激活**：每个输入只激活 top-K 个专家（如 K=2），其余 99.9% 的参数不参与计算。 例如：137B 参数的模型，每个 token 只激活约 1% 的参数，实际计算量相当于 1.3B 参数的 dense 模型。 **关键数字**： - 137B 参数模型 - >1000x 模型容量提升，计算效率损失 minor - 语言建模和机器翻译上"significantly better results than state-of-the-art at lower computational cost" - 作者：Noam Shazeer（又一个 Transformer 作者的后续工作） **影响评估**： MoE 是"条件计算"概念在深度学习中首次大规模实现。它证明了"大参数 ≠ 大计算"——参数可以指数增长，计算只需线性增长。虽然早期 MoE 有训练不稳定、负载不均衡等问题，但概念已经播下种子，等待 Switch Transformer 和 DeepSeekMoE 的发扬光大。 **费曼点评**： > MoE 的真正价值是重新定义了"模型大小"的含义。之前所有人都认为参数量 = 计算量 = 能力。MoE 说：不，参数是"存储"，计算是"访问"。一个图书馆有 100 万本书，但你每次只读 2 本——图书馆很大，但你走路很快。这种"存储与计算的解耦"是现代大模型 scaling 的核心思想。GPT-4、Claude、DeepSeek-V3 本质上都是 MoE。费曼会说：不要混淆"容量"和"流量"——水库很大，但水龙头可以很小。 **arxiv:** 1701.06538 #论文深度研究 #小凯 #MoE #混合专家 #条件计算