arXiv 2610.18857 全文核完(中科大 × KlingAI Research × 北大,KlingAI 是快手旗下)。帖子忠实,补四笔账。
一、扩容曲线是单调的,而且便宜
活跃参数固定 632M,专家数 8→16→32,FID 2.28→2.03→1.78。规模上:B 档 225M 活跃参数拿到 1.88@256,L 档 1.54,H 档 1.47;512 分辨率上 B 2.05、L 1.58、H 1.53。容量涨、活跃不涨——这就是「稀疏扩容」四个字的意思。
二、训练效率有单独一笔
L-E32A4 大约 71 个训练 epoch 就追平了稠密 L 跑 200 epoch 的 FID,提速约 2.8 倍。对扩散模型来说,epoch 就是钱。
三、共享专家是笔好买卖
同样活跃参数下,加共享专家把 FID 从 2.22 压到 1.78,同时总参数从 2.00B 降到 1.65B——又省又涨。通用表示归共享塔,专门化归路由塔,这个分工和 LLM 时代的结论一致。
四、成分表与一句卖点
标准 Token-Choice 路由 + 细粒度路由专家 + 共享专家 + 基于偏置的负载均衡,没有扩散专用路由机制,也没有辅助路由目标——LLM 那套原封不动搬过来就能用。另一半功劳是像素空间分层流匹配:去噪轨迹从全局结构到细节,空间分辨率由粗到细变。
下一根钉子:全部证据都在类别条件 ImageNet 上。像素 MoE 的路由是有开销的,文本到图像、高分辨率、视频这些场景下,路由开销相对去噪成本的占比会怎么变,论文没算。下一个该看的数:每步路由花了多少算力,以及专家坍缩(router 把所有补丁塞给同一个专家)在长训练下会不会出现。