[论文] How to Loop MoE: Flatten the Experts, Untie the Attention

研究领域: NLP 作者: Shouren Wang, Chuang Ma, Mohsen Hariri, Debargha Ganguly, Wang Yang, Xiaoqing Tong, Qianying Liu, Xiaotian Han, Vipin Chaudhary 发布时间: 2026-09-28…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Shouren Wang, Chuang Ma, Mohsen Hariri, Debargha Ganguly, Wang Yang, Xiaoqing Tong, Qianying Liu, Xiaotian Han, Vipin Chaudhary 发布时间: 2026-09-28 arXiv: 2609.35751

中文摘要

循环 Transformer 多次复用一块层:通过花费额外计算,将固定大小的模型推向更远处,从而更充分地利用其参数;而稀疏 MoE 模型为每个 token 仅激活众多专家中的少数几个。循环 MoE 桥接了这两种设计理念,为 MoE 模型提供了更好利用专家的新潜力,但这也引出一个问题:如何循环一个 MoE?我们用 Foil 回答:在专家参数和每 token 专家计算量固定的情况下,Foil (1) 扁平化专家——将专家层数减半、每层专家数加倍、通过次数加倍,使每次路由决策从更大的池中选择;(2) 解绑注意力——为每次通过赋予独立的注意力参数,而专家和路由器保持共享。实验表明 Foil 明显优于未扁平化的循环基线:在 20B token 时每个 Foil 模型的预训练损失都更低;在 100B token 时损失随扁平化程度单调改善,最扁平的 Foil 在同等参数和计算下比基线低 0.012 nat,下游准确率持平或更好;解绑注意力还在同等形状下产生更均衡、更自信的路由。我们的消融分析了 Foil 为何有效,并将其转化为循环 MoE 的设计指导:循环和加宽专家层的收益相互放大,路由信心比负载均衡更能追踪健康的专家使用,因此稀疏循环 MoE 应该使用更多每层专家和更多通过次数。

原文摘要

Looped Transformers reuse one block of layers several times: by spending extra computation they push a model of fixed size further, and so use its parameters more fully; while sparse mixture-of-experts (MoE) models activate only a few of many experts for each token. Looped MoE bridges these two design philosophies and gives MoE models new potential for better expert usage, but it raises a question: how to loop a MoE? We answer it with Foil. With the expert parameters and the expert compute per token held fixed, Foil (1) flattens the experts, halving the expert layers, doubling the experts per layer and doubling the passes, so that every routing decision chooses from a larger pool, and (2) unties the attention, giving each pass its own attention parameters while the experts and routers stay...


*自动采集于 2026-09-30*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

摘要的每一条主张我都回正文对过了,数字全对得上,但有两处口径需要钉牢,还有一条比结论本身更值得传播的副产物。

把专家楼拆平,路由面对更大的池子

一、0.012 nat 的全称

这个数来自 100B token 续训之后:Foil-1(64 专家 × 1 层 × 16 次通过)对未扁平基线(8 × 8 × 2),两边同为 553.7M 参数、每 token 同样 32 次专家计算,语料 FineWeb-Edu,损失是下一词预测的负对数似然。同参同算,这个对照是干净的。

要钉牢的第一处:20B 时只低 0.007,而且 20B 阶段最低的 Foil 是 Foil-2,恰好排在 Foil-1 前面。「越扁平越好」是练够之后才长出来的结论,早期不成立。谁在 20B 量级照抄这个设计,等于抄了结论没抄条件。

二、解绑注意力这条腿不比扁平化细

同形状下解开注意力与绑定的对照:Foil-1 领先 3.3 个百分点。两个改动是并联的承重墙,摘要只把聚光灯给了扁平化,工程复现时两条都得做。

三、负载均衡这把尺,被点名了

全文最值钱的一条在 Table 13 的 traffic-matched 实验:把「冷门专家」的流量刻意抹平,8 个模型里 7 个的损失升幅超过随机组。原文那句话值得抄在所有训练看板旁边——「最少用的专家并非最无用」。

配套的证据是 MMR 从 4.15 降到 3.36 的同时,每 pass 收益从 0.064 nat 降到 0.022:路由信心下降与模型变好同步发生。作者只声明同向、不声明因果,这个克制是对的。

四、加宽本身不划算

(8,8,2) 加宽到 (16,8,2) 的收益,算下来只是「再加 4 个专家」的 1.2 倍。扁平化与加宽的收益相互放大,单做一样收益平平——摘要那句「相互放大」在 §4.2 有对应的算术。

五、成本与边界

12.6k H200 GPU-hours,553.7M 的小模型,FineWeb-Edu 单语料,路由 FLOPs 没计入专家计算量。结论要外推到百亿参数级,这些前提一个都省不得。代码在 SR-A-W/how-to-loop-moe;limitation 藏在附录 J,抓取被截断了,引用前值得自己翻一遍。

下一根钉子

系统侧的那笔账。64 专家的大池子在实际部署里要撞 all-to-all 通信,扁平化把通信次数砍了一半——这笔账论文没算,做推理系统的人会替它算,算完的数字才决定 Foil 是论文技巧还是部署选项。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens