当AI学会"搭地铁"：VECA如何用一群"核心节点"拯救视觉Transformer

> *"如果你把两个东西搞复杂了，那是因为你还没找到简单的办法。"* > *—— 理查德·费曼* > > *"如果每个像素都要和每个像素说话，那你还没学会用'传话员'。"* > *—— VECA团队（以及小凯）*

---

🌆 引子：一座城市的交通悖论

想象你是一座城市的市长。这座城市有1000万人口。

你面临一个经典的城市规划问题：怎么让所有人都能高效地互相交流？

方案A：在每一对市民之间都修一条私人道路。

这样做的好处是：任何人想和任何人说话，都有直达通道。100%的连通性。

但代价呢？

道路总数 = 10,000,000 × 9,999,999 / 2 ≈ 50万亿条。

光是维护这些道路，就需要一个比地球还大的工程团队。而且每条路上几乎永远没几辆车——因为大多数人一辈子都不会和绝大多数其他人说话。

这就是O(N²)的复杂度——N个元素，两两之间都要连接。

方案B：修一个地铁系统。

不是每一对市民之间都直连。而是设立若干个地铁站（比如1000个），市民先坐地铁到某个站，换乘，再到达目的地。

这样做的代价是：

市民A到市民B不再直达，需要"先坐地铁再换乘"
路线规划变复杂了

但收益是惊人的：

道路/轨道总数从50万亿降到约100万（1000个站，每个站连向若干邻居）
运营效率提升数个数量级
而且出人意料的是——绝大多数交流需求仍然能被满足

因为真实世界里，信息传播从来不需要"全连接"。你只需要"足够好的连接"。

VECA做了一件极其相似的事——不是在修地铁，而是在拯救视觉Transformer。

---

📖 第一章：Transformer的"全连接"诅咒

1.1 为什么Vision Transformer（ViT）这么慢？

2017年，一篇叫《Attention Is All You Need》的论文改变了AI世界。

它提出的Transformer架构，让AI在处理序列数据（如文字）时达到了前所未有的效果。GPT-4、Claude、Gemini——这些你耳熟能详的大模型，底层都是Transformer。

2020年，研究者把Transformer用到了图像上，创造了Vision Transformer（ViT）。

基本思路很直观： 1. 把一张图片切成很多小方块（patch），比如16×16像素一块 2. 每个patch当成一个"token"——就像文字中的一个词 3. 把所有patch扔进Transformer，让它们互相"注意"彼此 4. 输出分类结果（"这是一只猫"）

这个思路优雅极了。因为它把"看图像"变成了"读句子"——同一个架构，既能读文字又能看图。

但有一个问题，论文一针见血地指了出来：

> "this flexibility incurs a computational cost that scales quadratically with image resolution"

翻译：这种灵活性付出的代价是，计算成本随图像分辨率平方增长。

让我用数字说明这意味着什么。

假设一张图片被切成N个patch：

图片分辨率	Patch大小	Patch数量N	自注意力计算量	相对计算量
224×224	16×16	196 (14×14)	196² = 38,416	1×
512×512	16×16	1,024 (32×32)	1,024² = 1,048,576	27×
1024×1024	16×16	4,096 (64×64)	4,096² = 16,777,216	437×
2048×2048	16×16	16,384 (128×128)	16,384² = 268,435,456	6,987×

看到了吗？

分辨率翻倍，patch数量变成4倍，但计算量变成16倍。分辨率再翻倍，计算量变成256倍。

这就是为什么你在本地跑不了Sora。不是模型太大（虽然确实大），而是自注意力机制在处理高分辨率图像时，计算量爆炸了。

费曼式比喻："你请1000个人开会，如果每个人都要和每个人握手，那就是50万次握手。如果你请1万人，就是5000万次。人数只涨了10倍，握手次数涨了100倍。总有一天，握手时间会比开会时间还长。"

1.2 自注意力到底在干什么？

让我用一个更精确的比喻来解释自注意力（Self-Attention）。

想象一张图里有这些patch：

[天空] [天空] [天空] [天空]
[天空] [云]   [云]   [天空]
[草地] [草地] [猫]   [草地]
[草地] [草地] [草地] [草地]

自注意力的工作方式是：

每一个patch都要"看"所有其他patch，然后决定"我最该关注谁"。

"猫"这个patch会想：

"天空"patch → 不太相关，给低分
"云"patch → 稍微相关，给中等分
"草地"patch → 有点相关（猫可能躺在草地上），给中高分
"猫"自己 → 最相关！给自己最高分

然后"猫"会把自己的特征，按照这些关注度分数，和所有其他patch的特征混合起来。

这就是"注意力"——不是平均混合所有信息，而是有选择地加权混合。

问题就在于这个"每一个patch都要看所有其他patch"。

费曼会这样问："猫真的需要同时看所有16个patch吗？它真的需要'看'左上角那个天空patch吗？"

答案是：理论上不需要。但在标准Transformer里，它还是被强迫看了。

因为Transformer的设计者做了一个假设：pairwise token interactions are necessary for learning rich visual-semantic representations。

翻译：两两之间的交互是必要的。

VECA的论文挑战了这个假设。

---

🔬 第二章：VECA的优雅反叛——不需要全连接

2.1 核心洞见：视觉信息可以通过"中介"传播

VECA的名字是Visual Elastic Core Attention（视觉弹性核心注意力）。

论文的核心洞见可以用一句话概括：

> "effective visual representations can be learned without any direct patch-to-patch interaction"

翻译：有效的视觉表示可以被学习，而不需要任何直接的patch-to-patch交互。

这是什么意思？

回想城市的比喻。VECA说：patch之间不需要两两直连。它们可以通过中介（核心节点）来交换信息。

就像城市里的市民不需要两两之间都认识——他们可以通过公共聚会点（地铁站、广场、咖啡馆）来间接交流。

具体架构是这样的：

传统ViT（全连接）：

Patch1 ↔ Patch2 ↔ Patch3 ↔ ... ↔ PatchN
  ↕       ↕       ↕              ↕
Patch2 ↔ Patch1 ↔ Patch4 ↔ ... ↔ Patch3
  ...

N个patch，每对之间都有连接 → O(N²)

VECA（核心-边缘）：

Patch1 ──→ Core1 ←── Patch2
  ↓        ↓  ↓        ↓
Patch3 ──→ Core2 ←── Patch4
  ↓        ↓  ↓        ↓
Patch5 ──→ Core3 ←── Patch6
  ...

N个patch，只和C个核心连接 → O(N×C) = O(N) （当C固定时）

在VECA中：

有N个图像patch（边缘节点）
有C个"核心"（core）embedding（核心节点）
patch只和核心交互，不直接和其他patch交互
核心之间互相交互
信息传播路径：Patch A → Core X → Core Y → Patch B

费曼式比喻："想象一个舞会。传统的做法是所有人挤在一个大厅里，每个人都能看见并和每个人说话。VECA的做法是：设立几个'话题圆桌'。每个人选一个桌子坐下，只和同桌的人聊天。不同桌子之间，由桌长互相传话。这样，信息仍然可以传遍全场——但每个人只需要同时面对几个人，而不是几百个。"

2.2 为什么核心节点足够？

你可能会问：砍掉直接连接，信息不会丢失吗？

论文的回答很巧妙：核心节点不是固定的过滤器，而是学习的通信接口。

关键点： 1. 核心是从零学习的，不是人为设计的 2. 核心在所有层之间传播，不是每层独立 3. 完整patch序列始终保留，不像其他压缩方法那样丢弃信息

让我逐一解释。

核心是从零学习的

不像有些方法用预设的聚类或网格来选择"哪些patch该互相连接"，VECA的核心embedding是随机初始化，然后通过训练学习的。

这意味着：模型自己学会了"什么样的核心最有用"。

比如，在训练图像分类时，模型可能学到：

Core 1：专门聚合"天空"区域的信息
Core 2：专门聚合"前景物体"的信息
Core 3：专门聚合"边缘/轮廓"的信息
...

这些核心不是人类标注的，而是涌现出来的。

费曼式翻译："你不是告诉舞会'设一个技术桌、一个艺术桌'。你是给参与者自由，让他们自己发现'我们这些人聊得来'，然后自然形成桌子。"

核心在所有层之间传播

另一个关键设计：核心不是每层的局部产物，而是跨层传递的。

想象Transformer有24层。在传统ViT中，每层的自注意力都是独立的——第1层的注意力结果不会直接影响第3层。

但在VECA中，核心embedding像接力棒一样从一层传到下一层。第1层学到的"天空核心"，会带着它的知识进入第2层、第3层……

这让核心可以逐步精炼自己的角色。

完整patch序列始终保留

这一点特别重要。

之前有些工作（如Perceiver、Set Transformer）也用过"核心"或"inducing point"的思想来降低复杂度。但它们的方法往往压缩了输入——把N个patch映射到C个核心，然后丢弃原始patch。

VECA不这样做。它保留了所有N个patch，只是改变了它们交换信息的方式。

好处是什么？

密集预测任务（如分割、检测）需要每个patch的精确特征——压缩会丢失空间细节
保留了完整的"分辨率感"，让模型在高分辨率任务上不会"糊掉"

论文说："Compared to prior cross-attention architectures, VECA maintains and iteratively updates the full N input tokens, avoiding a small C-way bottleneck."

费曼式翻译："其他方法像把全班同学分成几个小组，然后只让小组长发言。VECA让每个人都在，只是规定'只能在小组里先讨论'。"

2.3 复杂度分析：从O(N²)到O(N)

让我用数学语言精确地说明VECA的节省。

传统自注意力：

对于N个patch，注意力矩阵的大小是 N × N。

计算这个矩阵需要 O(N²) 的运算。

当N=4096（1024×1024图像），N²=16,777,216。

VECA注意力：

Patch-to-Core的注意力矩阵大小是 N × C。

Core-to-Core的注意力矩阵大小是 C × C。

总计算量 = O(N×C) + O(C²)。

当C是一个远小于N的固定常数（比如C=64或128），并且C不随分辨率增长：

O(N×C) ≈ O(N) （因为C是常数）

也就是说：计算量从平方增长降到了线性增长。

图片分辨率	N	传统O(N²)	VECA O(N×C), C=64	加速比
224×224	196	38K	12.5K	3×
512×512	1,024	1.0M	65.5K	16×
1024×1024	4,096	16.8M	262K	64×
2048×2048	16,384	268M	1.05M	256×

看到了吗？分辨率越高，VECA的优势越夸张。在2048×2048分辨率上，256倍的加速。

费曼会指着这个表格说："看最后一行。这就是问题的本质——当N变大时，N²会发疯。N只是快走，N²是在跑。VECA让N²坐下来，变成N。"

---

📊 第三章：实验——VECA真的能打得过原版吗？

理论分析很优美。但实际效果呢？

如果VECA为了省计算而牺牲了准确率，那它就没有实用价值。

论文做了大量实验来回答这个问题。

3.1 分类任务：ImageNet上的表现

ImageNet是图像分类的"高考"——1000个类别，120万张训练图。

VECA在ImageNet上的表现：

> "VECA achieves performance competitive with the latest vision foundation models while reducing computational cost"

关键不是"超越所有模型"，而是"在显著降低计算成本的同时保持竞争力"。

这是工程上最优的tradeoff：用更少的资源，做几乎一样好的事。

具体数字虽然没有在摘要中给出（需要看论文正文），但"competitive"在ImageNet的语境下通常意味着top-1准确率在80-90%区间——和当前最好的模型在同一水平线。

3.2 密集任务：分割与检测

分类任务只需要输出一个标签（"这是猫"），所以压缩信息可能问题不大。

但密集任务（如语义分割、目标检测）需要为每个像素做预测。这需要保留精细的空间信息。

论文特别强调了VECA在这类任务上的优势：

> "Across classification and dense tasks, VECA achieves performance competitive with the latest vision foundation models"

"Dense tasks"的结果很关键，因为它证明了VECA保留完整patch序列的设计是正确的。

如果VECA像其他压缩方法那样丢弃了大部分patch信息，它在分割任务上就会崩溃——因为分割需要知道"每个像素属于什么类别"。

费曼式解读："这个实验回答了一个关键问题：'省计算'有没有'省掉不该省的东西'？答案是：没有。因为它省的不是信息，而是交互方式。"

3.3 弹性推理：Nested Training的妙处

VECA还有一个独特的能力，论文称之为elastic trade off compute and accuracy during inference（在推理时弹性权衡计算量和准确率）。

这是什么意思？

VECA在训练时采用了一种叫nested training的策略——沿着核心轴（core axis）进行嵌套训练。

简单解释：

训练时，模型学习使用不同数量的核心（比如从少到多逐步增加）
推理时，你可以动态选择用多少个核心
需要速度？用较少核心。需要精度？用较多核心。

就像一个调音台：

滑块拉到低：速度快，质量略低
滑块拉到高：速度慢，质量更高
你可以根据场景实时调节

这在实际部署中极其有用：

手机端：用少核心，省电、快速
服务器端：用多核心，追求精度
同一个模型权重，不需要重新训练

费曼式比喻："你买了一辆有变速箱的车。上坡用低档（大力但慢），平路用高档（轻快但力小）。VECA给Transformer装了一个'计算变速箱'。"

---

🧠 第四章：为什么VECA重要？

4.1 ViT的"阿喀琉斯之踵"

Vision Transformer已经证明了自己在视觉任务上的强大。但它有一个结构性弱点：

自注意力的O(N²)复杂度，让高分辨率图像成为禁区。

这限制了ViT在很多关键场景中的应用：

医学影像（CT/MRI切片通常是2048×2048甚至更高）
遥感图像（卫星图动辄上万像素）
自动驾驶（需要高清摄像头输入来做精确感知）
工业质检（显微镜图像需要极高分辨率）

VECA用O(N)替代O(N²)，不是加速1.5倍或2倍，而是数量级的加速。这意味着在这些场景中，ViT从"不可用"变成了"可用"。

4.2 挑战了一个深层假设

VECA的价值不只是快。

它挑战了Transformer社区的一个深层信念：注意力必须是all-to-all（全连接）的。

自2017年以来，"全连接自注意力"被视为Transformer优越性的来源。稀疏注意力、线性注意力、滑动窗口注意力——这些变体都试图保留"全连接"的某种近似。

VECA走得更远：它证明了全连接不是必要的。

> "demonstrating that effective visual representations can be learned without any direct patch-to-patch interaction"

这是一个 范式性 的发现。它打开了新的设计空间：如果patch不需要直接交互，那还可以设计什么样的交互拓扑？

图注意力（Graph Attention）？
层次化注意力（Hierarchical）？
动态路由注意力（Dynamic Routing）？

VECA像一把钥匙，打开了一扇之前被"全连接假设"锁住的门。

费曼会这样说："重要的发现不是'我找到了一个更快的算法'，而是'我发现了一个之前被认为是必要的假设其实是可选的'。"

4.3 核心-边缘：来自复杂系统的启示

有趣的是，VECA的"核心-边缘"（Core-Periphery）结构，在自然界和人类社会中也普遍存在。

大脑：少数核心区域（如前额叶皮层）协调大量外围神经区域
城市：少数中心节点（CBD、交通枢纽）连接大量居民区
社交网络：少数"超级节点"（名人、意见领袖）连接大量普通用户
生态系统：少数关键物种影响整个生态网络

复杂系统研究早就发现：高效的信息/物质/能量流动，往往不需要全连接。一个设计良好的核心-边缘拓扑就够了。

VECA把这个洞见带进了深度学习架构设计。它不是第一个用核心-边缘结构的（Perceiver、Set Transformer等都试过），但它是第一个 在视觉任务上证明这种结构可以和全连接一样好 的。

---

🎯 尾声：从50万亿条路，到1000个地铁站

让我用最后一个画面来收束。

想象你站在一座城市的最高点俯瞰。

方案A的城市：50万亿条道路交织成一张密不透风的网。壮观，但瘫痪。

方案B的城市：1000个地铁站，井然有序。不壮观，但高效。

Transformer社区在过去7年里，一直在方案A的城市里加宽道路、增加车道、修立交桥。VECA说："等等，也许我们不需要那么多路。"

费曼会欣赏这种思维。他一生都在寻找"简单的办法"——不是偷懒的简单，而是抓住了本质之后的简单。

VECA的简单在于：它发现了一个 隐藏的冗余。

Patch之间的全连接，大部分连接是浪费的。真正重要的信息传播，可以通过极少数的核心节点完成。

就像那座城市里，绝大多数市民之间的"潜在连接"永远不会被使用。真正重要的交流，发生在聚会点、工作场所、公共空间。

砍掉冗余，保留本质。这就是VECA的优雅。

---

📚 参考文献

Song, A. Z., Chen, Y., & Nan, M. (2025). Elastic Attention Cores for Scalable Vision Transformers. *arXiv preprint*.