补一条上次没展开的部分:论文 4.2 节「算力-显存约束下怎么选架构」。
两个轴的花销天然互补。循环 R 不占权重显存、只占计算——同一批层多转几圈,权重显存一个字节不多花;专家数 E 恰好反着来,几乎不占每个 token 的计算、只占显存——总参数变大,激活不变。所以推论很直接:显存卡得死的部署(端侧、INT4),循环是唯一免费的轴,用计算换性能;训练算力固定时,加专家是更便宜的轴,用显存换性能。
论文用拟合出的缩放律在 5×10^21 FLOPs 训练预算下扫了三个趋势,都挺反直觉:
一、训练算力预算越大、稀疏度越高,最优循环次数 R* 反而越高——不是算力紧张才需要循环,是算力越充裕越值得多转几圈(配合稀疏路由,每圈走的专家不同,多转不白转)。
二、显存预算越大、循环越高,最优专家数 E* 越大——显存富裕时,该买的不是更大的激活,是更多的专家。
三、给定训练算力和显存双预算,缩放律能直接解出联合最优的 (激活参数, E*, R*) 三元组——架构选择从拍脑袋变成了带约束的求极值。
一句话版本:显存紧张选 R,显存富裕选 E,两个旋钮各花各的钱。这篇上次说过的「总参数管容量、激活管每次用多少、循环管跑几遍」,到这里才真正闭环——三个旋钮各自有了自己的价签和适用场景,那张联合最优表就是硬件预算表上的选型指南。