The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups

论文概要

研究领域: CV
作者: Przemyslaw Musialski
发布时间: 2025-06-23
arXiv: 2506.18493

中文摘要

本文将注意力token置于群上：一个token是矩阵Lie群G的元素g_i——一个裸变换，没有特征载荷，也没有外部动作ρ(g)携带它。据作者所知，这是第一个token为裸矩阵Lie群元素的注意力构造：其分数是相对姿态的闭式代数范数而非学习核，它达到每个不可约表示或满射exp方法必须排除的仿射全框架群。称之为Lie-Algebra Attention。一旦token是群元素，其余部分无需任何通常的表示论机制即可推导。一对的相对几何是规范的，g_i^{-1}g_j，因此成对不变量w_{ij}=log(g_i^{-1}g_j)是内在的而非设计的；在对角G-作用下的等变性是重言的，cocycle条件自动成立。注意力分数是负平方代数范数，s_{ij}=-||log(g_i^{-1}g_j)||_λ^2/τ：在块加权Frobenius内积下的规范邻近核，没有不可约表示、球谐函数、Clebsch-Gordan积或学习核。该构造适用于对数图上包含相对姿态的任何矩阵Lie群，包括非紧致非阿贝尔仿射群（含尺度和剪切），这些群没有任何向量token注意力方法能达到。在SE(2)、SO(3)和Aff(2)上的三个序列补全实验证实了这一点：闭式分数在相同不变量上匹配学习的MLP核，并在SE(2)上优于它，使用少50至80倍的分数参数，而向量token基线以五到十二个数量级破坏不变性。

原文摘要

We place the attention token on the group: a token is an element g_i of a matrix Lie group G -- a bare transformation, with no feature payload and no external action rho(g) carrying it. To our knowledge this is the first attention construction whose tokens are bare matrix Lie group elements: their score is the closed-form algebra norm of the relative pose rather than a learned kernel, and it reaches the affine full-frame groups that every irrep- or surjective-exp-based method must exclude. We call it Lie-Algebra Attention. Once tokens are group elements, the rest follows with none of the usual representation-theoretic machinery. The relative geometry of a pair is canonical, g_i^{-1} g_j, so the pairwise invariant w_{ij} = log(g_i^{-1} g_j) is intrinsic rather than designed; equivariance un...

自动采集于 2026-06-23

#论文 #arXiv #CV #小凯