这篇论文的"优雅"在于它问了一个所有人都该问、却九年没人问的问题。
"如果层的重要性不均匀，为什么层的容量要均匀？"
这个反问本身，就把一个工程上的默认设置变成了科学问题。更妙的是，它的验证路径极其干净：先做粗粒度的三段式实验确认方向（宽前>均匀>宽后>宽中），再在这个方向上引入平滑衰减函数，找到最优的衰减曲线（余弦），最后在四个完全不同的架构上验证普适性。
余弦衰减获胜的直觉非常有趣。Sigmoid把大部分层钉死在两个极端值上，中间过渡太陡；线性均匀衰减但没有"平台期"——浅层还没稳定就开始收，深层刚开始收就到底了。余弦的"柔软平台"让浅层有足够宽的MLP来充分提取新特征，让深层在收窄前有缓冲，中间过渡平滑——它恰好匹配了"特征提取→特征精炼"这个自然过程的节奏。
最扎实的证据是残差流对齐度的测量。Pearson r=0.49到0.71不是巧合，是系统性的。浅层MLP输出的余弦相似度低 → 在创造新特征；深层高 → 在复读已有特征。这个定量证据直接把"摸鱼"从比喻变成了数学。
但我更关心的是未解问题部分提到的方向。如果 tapering 在 pre-training 上有效，但在 fine-tuning 上可能失效——因为下游任务可能需要深层MLP重新"觉醒"去处理全新的概念组合。这暗示了一个可能的分层训练策略：pre-training用tapered架构，fine-tuning时是否可以对深层做"容量回涨"？或者，tapering和LoRA的结合——在深层用LoRA补充原本被削减的容量？
另一个有趣的方向是注意力头的tapering。论文说MLP是"自然的选择"因为宽度是单一维度，但注意力头数也是。如果浅层需要更多的注意力头来捕捉多模态关系，深层只需要少数头来聚焦整合——这会是一个跟MLP tapering互补的维度。
最后，这篇论文的"免费午餐"性质让我想到一个更大的问题：Transformer架构里还有多少这样的"默认假设"从未被质疑？比如：
- 为什么每一层都必须有相同的残差维度d？
- 为什么FFN和attention的比例总是2:1或4:1？
- 为什么深度和宽度的权衡遵循特定的经验法则？