[论文] Copy the Same, Distill the Difference: Initializing Linear Vision Tran...

研究领域: CV 作者: Huaiyuan Qin, Muli Yang, Gabriel James Goenawan, Shiqi Huang, Min Kass Chong, Wahyu Wiratama, Peng Hu, Chen Gong, Wu Liu, Xi Peng, Chun Jian Ho, H…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Huaiyuan Qin, Muli Yang, Gabriel James Goenawan, Shiqi Huang, Min Kass Chong, Wahyu Wiratama, Peng Hu, Chen Gong, Wu Liu, Xi Peng, Chun Jian Ho, Hongyuan Zhu 发布时间: 2026-09-28 arXiv: 2609.35745

中文摘要

线性视觉 Transformer(ViT)旨在用线性复杂度的注意力算子替代 Softmax ViT 中的注意力以实现更高效的 token 路由,但它们需要从头预训练且通常表现不如原始的 Softmax 版本。如何既高效又有效地初始化线性 ViT 仍不清楚。本文明确提出了一个问题:鉴于大多数基础 ViT 都基于主流 Softmax 注意力,线性 ViT 能否从它们的预训练权重中受益?最近关于注意力迁移的研究表明,注意力是 Softmax ViT 之间有效的可迁移组件,暗示仅迁移注意力就足以实现复用。然而,我们发现 Softmax 到线性的迁移情况恰恰相反:注意力权重是算子特定的,直接复制几乎没有帮助,有时甚至不如随机初始化。相反,注意力的 token 路由行为可以通过适当损失设计的蒸馏来恢复,使线性 ViT 缩小差距甚至匹敌 Softmax 版本。相比之下,承载学习表示的 MLP 权重是算子无关的:通过简单的直接复制即可迁移,这已经带来了预训练权重的大部分收益。因此,复制 MLP 可以作为 Softmax 到线性迁移的有效基础:配合蒸馏得到的注意力,线性 ViT 最终弥合了剩余差距甚至超越 Softmax 版本。这些发现在不同线性 ViT 变体、不同模型规模和多样数据集上保持一致。复制相同的部分,蒸馏不同的部分——跨越 Softmax 到线性边界恢复收益。

原文摘要

Linear Vision Transformers (ViTs) are designed to replace the attention in Softmax ViTs with the linear-complexity attention operator for more efficient token routing, but they require from-scratch pre-training and typically underperform the original Softmax version. How to initialize linear ViTs both efficiently and effectively still remains unclear. In this work, we explicitly ask: given that most foundation ViTs are built on the mainstream Softmax attention, can linear ViTs benefit from their pre-trained weights? Recent works on Attention Transfer show that attention is the effective transferable component between Softmax ViTs, suggesting attention alone suffices for such reuse. However, we find the opposite for Softmax-to-linear transfer. The attention weights are operator-specific: co...


*自动采集于 2026-09-30*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

这篇讲的其实是一件搬家的事:家具能搬,窗帘得重织。数字都核过,两条结论比摘要说得更有意思。

搬家具,织窗帘:权重的算子边界

一、抄注意力会变差,差多少有数

ViT-B、ImageNet-1K、只把注意力权重抄过去:TTT 配 DINO 老师,80.6 分,随机初始化反而 82.2——抄了倒贴 1.6 分。DeiT 到 TTT 贴 1.2 分,DINO 到 ReLU 贴 1.3 分,OOD 四件套(IN-A/R/S/V2)全负。这组数字直接顶回了 NeurIPS 2024 的 attention transfer(引文 [19]):算子换了,注意力权重跟着算子走,硬搬是排异反应。

二、MLP 是能搬的家具

ReLU 线性化:随机 76.5 → 只搬 MLP 80.2 → Softmax 原版 81.8。到原版的差距,搬家具就补回七成(这条百分比是我按表算的,论文没给)。TTT 那组更干脆:只搬 MLP 拿到 82.9,已经高过 Softmax 原版的 81.8。

三、蒸馏那把尺,比想象的朴素

损失是 L_task + 50 × L_distill。蒸馏目标既非注意力图,也无 KL、无温度——就是逐 block 的注意力输出做 MSE,teacher 用冻结的 DeiT;MHLA 和 TTT 只对齐 patch tokens。「复制相同的、蒸馏不同的」这句话落到实现上,朴素得让人意外。

四、两条容易被略过的补充

  • 蒸馏之后,MLPCopy+Distill ≈ FullCopy+Distill:注意力权重复制变得近乎冗余。真正承重的组合是「搬 MLP + 蒸馏注意力」,抄不抄那堆权重无所谓。
  • 反直觉的一格:不蒸馏时抄注意力有害,蒸馏之后 Copy w/ Distill 稳定好于 Random w/ Distill——抄来的权重当热启动仍然有用。有害的是「抄完就收工」,并非「抄」本身。

五、「超越」的边界

超越发生在下游微调之后:TTT 系 83.2 对 81.8,+1.4;六个迁移数据集上是「持平」;Flowers 上蒸馏反而变差;零样本没有超越。Limitation 三条:teacher 只有 DeiT 一个家族;非 training-free(要辅助蒸馏目标);解释是经验性的,没有形式化推导。代码写「upon publication」,仓库还没影。

下一根钉子

换 teacher 家族时结论稳不稳。DINO、MoCov3 那几组只出现在鲁棒性检查里,主实验全是 DeiT——要是结论只对 DeiT 成立,「算子无关的是 MLP」就得改口成「DeiT 无关的是 MLP」。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens