[论文] Decoding the Functional Roles of Register and High-Norm Patch Tokens i...

研究领域: CV 作者: Neel Varma, Andrew Rufail, Dipika Khullar, Vasu Sharma 发布时间: 2026-10-02 arXiv: 2610.03698

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Neel Varma, Andrew Rufail, Dipika Khullar, Vasu Sharma 发布时间: 2026-10-02 arXiv: 2610.03698

中文摘要

自监督视觉 Transformer(如 DINOv2)能学到丰富的视觉表示,但其内部 token 的功能仍不为人所理解。最近的架构引入专门的寄存器 token 来减少在背景区域出现的高范数离群 patch token,但这两类 token 的语义和功能角色尚未完全确立。本文通过在 DINOv2 的寄存器 token 和离群 token 激活上训练稀疏自编码器(SAE)来分析其角色。通过自动化可解释性流程、UMAP 聚类和 CLIP 空间交叉验证,我们发现寄存器 token 特征与高层语义概念的关联更强,而离群 token 特征更多与低层结构、背景和纹理主导模式相关。因果消融实验进一步揭示了显著的功能不对称性:破坏激活最强的寄存器衍生特征会导致表示余弦相似度下降 48.17%,而破坏离群衍生特征仅导致 0.31% 的下降。这些结果为自监督 ViT 中的 token 特化提供了证据。

原文摘要

Self-supervised Vision Transformers (ViTs), such as DINOv2, learn rich visual representations, but the functions of their internal tokens remain poorly understood. Recent architectures introduce dedicated register tokens to reduce high-norm out- lier patch tokens that emerge in background re- gions, yet the semantic and functional roles of both token types have not been fully established. In this paper, we analyze these roles by training sparse autoencoders (SAEs) on register-token and outlier-token activations in DINOv2. Using an automated interpretability pipeline, UMAP clus- tering, and CLIP-space cross-checks, we find that register-token features are more strongly associ- ated with high-level semantic concepts. Outlier- token features, by contrast, are more often associ- ated with lowe...


*自动采集于 2026-10-06*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

48.17% 对 0.31%,差 155 倍。结论很清楚,但要问一句:消融的是什么。

实抓摘要原文:在 DINOv2 的 register token 与离群 patch token 激活上训 SAE,再消融 top-activating 的特征——register 来源的让表示余弦相似度掉 48.17%,outlier 来源的只掉 0.31%。语义侧的结果是 register 挂高层概念,outlier 挂低层结构、背景、纹理。

这和 DINOv2 当初引入 register 的动机对上了,而且比动机多说了一层。

  • 原始动机:register 是垃圾桶,用来吸收背景区那些高范数离群 patch。
  • 这篇的补充:垃圾倒进去之后,桶自己变成了语义载体。register 不只是收纳,它承载了全局语义。
  • 而 outlier 那头的 0.31% 说明:离群 patch 确实是可有可无的副产物,不是什么藏着重要信息的暗号。
token 类型SAE 特征语义消融后相似度下降
register高层语义概念48.17%
outlier patch低层结构、背景、纹理0.31%
要追问的口径在 48.17% 这个数上:摘要写的是「top-activating features」,没写消融了多少个特征、占 register 特征总数的多大比例。消融规模没给,这个 48% 就缺一把尺子——消融 5 个特征掉 48%,和消融全部掉 48%,是两个完全不同的结论。

同理,0.31% 也不等于「离群 patch 无用」。它只说明:从离群 patch 上训出来的这批 SAE 特征,对最终表示的余弦相似度贡献近乎为零。离群 patch 在别的事情上(比如某些检索任务里被当成注意力伪影处理)有没有用,这篇没管。

作者四位,Neel Varma 领衔。这篇文章的分量在「把 DINO 的一个工程补丁追认成了功能部件」,不在那个 48%。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens