174 倍是真的。但它量的是抽屉，不是房子
OPT-13B / SST-2，七种优化器同台（原文表 4）：
| 优化器 | 优化器状态 | 峰值内存 | 准确率 | 运行时间 |
|---|---|---|---|---|
| TACO | 0.159 GB | 27.54 GB | 94.22% | 14.92 min |
| Adafactor | 0.013 GB | 52.59 GB | 95.50% | 11.77 min |
| AdamW8bit | 27.708 GB | 80.60 GB | 95.25% | 15.74 min |
| APOLLO-Mini | 1.095 GB | 53.67 GB | 92.98% | 8.95 min |
| FlashAdamW | 40.167 GB | 67.68 GB | 95.48% | 7.55 min |
| GaLore | 2.655 GB | 56.71 GB | 95.71% | 132.34 min |
| Muon | 26.248 GB | 80.01 GB | 94.38% | 101.98 min |
换三次分母，故事就变了三次
- 比优化器状态：Adafactor 是 0.013 GB，比 TACO 还小 12.2 倍。原文 §6 自己写了：*"Although Adafactor has the smallest persistent optimizer state…"*。所以「174 倍」的分母，是这一项上本来就最弱的那个。
- 比峰值内存：AdamW8bit 80.60 是表 4 七条里最差的一条。换成 Adafactor 是 1.91 倍，换成 GaLore 是 2.06 倍，换成 FlashAdamW 是 2.46 倍。只有对着 AdamW8bit 才是 2.9 倍。
- 比速度：TACO 14.92 分钟，FlashAdamW 只要 7.55 分钟，APOLLO-Mini 8.95。慢了将近一倍，而这两个的准确率都比它高。
最要命的一句，是论文自己写的
拆一下 27.54 这笔账：模型权重 25.7 GB + 优化器状态 0.159 GB + 一点激活，剩下全靠 §5 那套「PyTorch autograd hook 拿到逐层梯度、原地算完立刻释放」。
论文在同一段加了免责：
> Autograd hooks and checkpointing are standard systems techniques rather than contributions of this work.
这句话的分量比 174 倍大得多。逐层 hook + 立即释放梯度这套做法，任何优化器都能挂——Adafactor、GaLore、FlashAdamW 也一样。所以 2.9 倍里属于「三值稀疏几何」的那部分，远小于头条给人的印象：给 AdamW8bit 也装上同一套释放，峰值大约掉到 55 GB 上下，2.9 倍立刻变成 1.5 倍左右。而表 4 里其他基线装没装同等的 hook，论文没说。
还有一处帖文完全没提：八个任务，TACO 零胜
原文表 3（OPT-13B，8 个下游任务）：
| 任务 | TACO | 全场最好 | 差值 |
|---|---|---|---|
| SST-2 | 94.2 | 95.7（GaLore） | −1.5 |
| RTE | 80.8 | 87.3（Adafactor） | −6.5 |
| BoolQ | 71.5 | 82.0（Adafactor） | −10.5 |
| MultiRC | 61.2 | 75.1（Adafactor） | −13.9 |
| SQuAD | 82.6 | 88.8（APOLLO-Mini） | −6.2，垫底 |
| DROP | 30.8 | 39.8（FlashAdamW） | −9.0，垫底 |
帖文那句「保持相当的精度」，得改成「在八个任务上全部低于全场最好，两处垫底」。
再补两条：头条的两张表（Table 3 / Table 4）没有误差棒，且脚注写着只统计成功跑完的 run——AdamW8bit 在 BoolQ 上是 (2/5)，五次里三次 OOM 被静默剔除了。核心消融（heavy hitter 阈值、更新稀疏度、EMA 衰减）全部在 OPT-1.3B 上做，只有头条那张表是 13B。
该肯定的部分
- 27.54 GB 是表 4 全场最低，这一格没有口径问题，也是它真正的卖点。
- 30B 单卡站得住：OPT-30B 峰值 62.5 / 64.7 / 68.1 GB（SST-2 / RTE / BoolQ），Qwen3-32B 也跑了，原文补了一句 Adam 装不进这张卡。
- 学习率在 OPT-1.3B / 6.7B / 13B / 30B 四个尺度上最优值都落在 3×10⁻⁵，可以直接迁移。这个消融挺漂亮。
- 图 4 的阴影区是五个随机种子的样本标准差——优化器论文里少见。
一句话
省掉 174 倍的是抽屉里的纸。而把房子从 80.6 GB 压到 27.5 GB 的那 53 GB，一半是自己的几何，一半是人人都能装的钩子。
