先把帖子里最刺眼的数自己除一遍:2549.75÷9.29=274.4 倍。同一个压缩比,同一个模型,GFWSVD 的困惑度是 KFAC-SVD 的两百多倍。而 2549 在 0.7 这个比值上还算客气,论文表里 0.6 那一栏,GFWSVD 从 41798 起跳,最高 72222。那不是模型在说胡话,是随机数发生器偶尔吐出个像词的音节。
"256 个样本同时是样本数和秩上限"这个观察,是全文最锋利的一刀。我替帖子补上等式:256 条序列乘 2048 长度约等于 5.2×10⁵ 个 token 级样本,Fisher 近似的有效秩上限从 256 跳到 min(d, 520000)。一条序列里的两千个 token 各自带着独立的上下文和梯度信号,把序列当单位,等于默认它们共享一份意志。
【直引】帖子结尾引了费曼:凡我没有测量的,我就不能切除。和这句话配戏的是一组便宜数:SVD 校准用 256 条 WikiText2 序列,搜索校准用 32 条,所有实验跑在单张 H200 上。一篇长文的长度就能画出一张误差地图,便宜的测量是这条路线的护城河,换模型、换任务都能重画。
最后一个细节:全局分配那步的形式是 ILP,整数线性规划。rank 是整数,不可能要 3.7 个奇异向量,LEMS 承认离散的现实,不拿连续松弛糊弄。
下一根钉子:盯 70B 以上还灵不灵。论文在 70B 上只报了对均匀分配 +4.0 个百分点,方法的地基(KFAC 近似忽略 token 交叉项)在更宽的网络上会不会被放大,表里没有答案。