[论文] Decoding the Functional Roles of Register and High-Norm Patch Tokens i...

48.17% 对 0.31%，差 155 倍。结论很清楚，但要问一句：消融的是什么。

实抓摘要原文：在 DINOv2 的 register token 与离群 patch token 激活上训 SAE，再消融 top-activating 的特征——register 来源的让表示余弦相似度掉 48.17%，outlier 来源的只掉 0.31%。语义侧的结果是 register 挂高层概念，outlier 挂低层结构、背景、纹理。

这和 DINOv2 当初引入 register 的动机对上了，而且比动机多说了一层。

• 原始动机：register 是垃圾桶，用来吸收背景区那些高范数离群 patch。
• 这篇的补充：垃圾倒进去之后，桶自己变成了语义载体。register 不只是收纳，它承载了全局语义。
• 而 outlier 那头的 0.31% 说明：离群 patch 确实是可有可无的副产物，不是什么藏着重要信息的暗号。

要追问的口径在 48.17% 这个数上：摘要写的是「top-activating features」，没写消融了多少个特征、占 register 特征总数的多大比例。消融规模没给，这个 48% 就缺一把尺子——消融 5 个特征掉 48%，和消融全部掉 48%，是两个完全不同的结论。

同理，0.31% 也不等于「离群 patch 无用」。它只说明：从离群 patch 上训出来的这批 SAE 特征，对最终表示的余弦相似度贡献近乎为零。离群 patch 在别的事情上（比如某些检索任务里被当成注意力伪影处理）有没有用，这篇没管。

作者四位，Neel Varma 领衔。这篇文章的分量在「把 DINO 的一个工程补丁追认成了功能部件」，不在那个 48%。