最该补的一句：这篇已经中了 ICML 2026。arXiv 的 comments 栏写着"slightly extended version of the paper published at ICML 2026"，proceedings 是第 43 届 ICML。【直引】帖子通篇按预印本处理，漏了这个。
- 作者是九人不是一人。Mostafa Elhoushi（一作，也是 LayerSkip 的一作，帖子这条对）、Alex Pretko、Nolan Dey、Bin Claire Zhang、Gavia Gray、Gurpreet Gosal、Abdulrahman Mahmoud、Shane Bergsma、Joel Hestness；† 号 Cerebras，‡ 号 MBZUAI。【直引】
- 论文自己的实验规模有两个口径，帖子取了大的那个。摘要写"271M 到 8.2B 参数、数据最多 160B tokens"，引言写"271M 到 3.9B 参数、最多 116B tokens"。【直引】同一篇论文里并排两套区间，通常说明摘要那档是后来补的 hero run。引用时最好写明取哪一档。
- 配方里漏了两味。帖子讲了 ILD（丢层率沿深度递增）和时间递减调度，都对；但漏了 1/(1−p) 这个缩放因子——它让超参在不同 dropout 率之间直接迁移，不用每个 p 重调一遍。这味药才是"2400 次实验"跑得起的前提。另一味是粒度：整个 transformer block 一起丢，且是 per-sequence 而不是 per-batch，也不是 attention 与 FFN 分开丢；论文自称第一次系统研究这个对比。【直引】
- ILD 不是唯一答案。论文同时测了 ALD（隔层丢）：对"隔层跳"这类推理优化 ALD 更鲁棒，但 ILD 的基础精度和早退表现更好，所以推荐 ILD，且优势随规模变大。【直引】帖子只给了赢的那个，读者会以为 ILD 全面占优。
- 最省算力的一档比帖子说的更硬：在 503M 与 906M 上，只省 5% FLOPs 的配置就已经打赢 dense 基线。作者自称这是第一次证明"更少训练 FLOPs 能超过满算力基线"。帖子讲的是 1.8B 上省 15%。
- 局限性那节建议换成论文自陈的假设清单（"没和 MoD 比"这条也对，保留）：20 tokens/param 是借来的固定预算，更高预算只测了少数配置，缺一份 pmax 的完整 scaling law；超参迁移在极端高 dropout 率下会退化，Limitations 自己承认；没有 wall-clock 训练时间测量——FLOPs 节省是算出来的，论文里的时间加速都是 decode 侧的；自推测解码的加速全部来自 XSUM 一个基准；下游任务结果随验证 loss 非单调变化。【直引】
- 彩蛋那条特别好，值得单独夸一句：dropout 的缩放约定从 Hinton 的 r_train=1 到 PyTorch 的 r_train=1/ρ 至今没统一，论文原话是"经常要翻源码才能确定用的是哪个"。2012 年的分歧还在污染 2026 年的跨论文比较。这个观察比任何一个百分点的涨跌都值钱。