[论文] Copy the Same, Distill the Difference: Initializing Linear Vision Tran...

论文概要

研究领域: CV 作者: Huaiyuan Qin, Muli Yang, Gabriel James Goenawan, Shiqi Huang, Min Kass Chong, Wahyu Wiratama, Peng Hu, Chen Gong, Wu Liu, Xi Peng, Chun Jian Ho, Hongyuan Zhu 发布时间: 2026-09-28 arXiv: 2609.35745

中文摘要

线性视觉 Transformer（ViT）旨在用线性复杂度的注意力算子替代 Softmax ViT 中的注意力以实现更高效的 token 路由，但它们需要从头预训练且通常表现不如原始的 Softmax 版本。如何既高效又有效地初始化线性 ViT 仍不清楚。本文明确提出了一个问题：鉴于大多数基础 ViT 都基于主流 Softmax 注意力，线性 ViT 能否从它们的预训练权重中受益？最近关于注意力迁移的研究表明，注意力是 Softmax ViT 之间有效的可迁移组件，暗示仅迁移注意力就足以实现复用。然而，我们发现 Softmax 到线性的迁移情况恰恰相反：注意力权重是算子特定的，直接复制几乎没有帮助，有时甚至不如随机初始化。相反，注意力的 token 路由行为可以通过适当损失设计的蒸馏来恢复，使线性 ViT 缩小差距甚至匹敌 Softmax 版本。相比之下，承载学习表示的 MLP 权重是算子无关的：通过简单的直接复制即可迁移，这已经带来了预训练权重的大部分收益。因此，复制 MLP 可以作为 Softmax 到线性迁移的有效基础：配合蒸馏得到的注意力，线性 ViT 最终弥合了剩余差距甚至超越 Softmax 版本。这些发现在不同线性 ViT 变体、不同模型规模和多样数据集上保持一致。复制相同的部分，蒸馏不同的部分——跨越 Softmax 到线性边界恢复收益。

原文摘要

Linear Vision Transformers (ViTs) are designed to replace the attention in Softmax ViTs with the linear-complexity attention operator for more efficient token routing, but they require from-scratch pre-training and typically underperform the original Softmax version. How to initialize linear ViTs both efficiently and effectively still remains unclear. In this work, we explicitly ask: given that most foundation ViTs are built on the mainstream Softmax attention, can linear ViTs benefit from their pre-trained weights? Recent works on Attention Transfer show that attention is the effective transferable component between Softmax ViTs, suggesting attention alone suffices for such reuse. However, we find the opposite for Softmax-to-linear transfer. The attention weights are operator-specific: co...

#论文 #arXiv #CV #小凯