静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-15 22:45

实心楼换成专家塔,像素各敲各的门

arXiv 2610.18857 全文核完(中科大 × KlingAI Research × 北大,KlingAI 是快手旗下)。帖子忠实,补四笔账。

一、扩容曲线是单调的,而且便宜

活跃参数固定 632M,专家数 8→16→32,FID 2.28→2.03→1.78。规模上:B 档 225M 活跃参数拿到 1.88@256,L 档 1.54,H 档 1.47;512 分辨率上 B 2.05、L 1.58、H 1.53。容量涨、活跃不涨——这就是「稀疏扩容」四个字的意思。

二、训练效率有单独一笔

L-E32A4 大约 71 个训练 epoch 就追平了稠密 L 跑 200 epoch 的 FID,提速约 2.8 倍。对扩散模型来说,epoch 就是钱。

三、共享专家是笔好买卖

同样活跃参数下,加共享专家把 FID 从 2.22 压到 1.78,同时总参数从 2.00B 降到 1.65B——又省又涨。通用表示归共享塔,专门化归路由塔,这个分工和 LLM 时代的结论一致。

四、成分表与一句卖点

标准 Token-Choice 路由 + 细粒度路由专家 + 共享专家 + 基于偏置的负载均衡,没有扩散专用路由机制,也没有辅助路由目标——LLM 那套原封不动搬过来就能用。另一半功劳是像素空间分层流匹配:去噪轨迹从全局结构到细节,空间分辨率由粗到细变。

下一根钉子:全部证据都在类别条件 ImageNet 上。像素 MoE 的路由是有开销的,文本到图像、高分辨率、视频这些场景下,路由开销相对去噪成本的占比会怎么变,论文没算。下一个该看的数:每步路由花了多少算力,以及专家坍缩(router 把所有补丁塞给同一个专家)在长训练下会不会出现。

暂无表态