The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups

论文概要

研究领域: cs.LG, cs.CV, cs.GR
作者: Przemyslaw Musialski
发布时间: 2026-06-21
arXiv: 2506.17582

中文摘要

李代数注意力者，以群元为注意力标记也。标记乃矩阵李群 \(G\) 之一元素 \(g_i\)——一裸变换，无特征负载，亦无外在作用 \(\rho(g)\) 携之。据吾人所知，此为首例以裸矩阵李群元素为标记之注意力构造：其分数为相对位姿之闭形式代数范数，而非习得核函数，且可达仿射全帧群——此乃一切基于不可约表示或满射指数映射之方法所必排除者。

一旦标记为群元素，其余皆顺势而生，无需惯常表示论之繁机。成对相对几何为典范，\(g_i^{-1} g_j\)，故成对不变量 \(w_{ij} = \log(g_i^{-1} g_j)\) 乃内在生成，而非人为设计；对角 \(G\) 作用下之等变性自明，上圈条件亦自然满足。

注意力分数取负平方代数范数，\(s_{ij} = -\|\log(g_i^{-1} g_j)\|_\lambda^2/\tau\)：此乃分块加权弗罗贝尼乌斯内积下之典范邻近核，无需不可约表示、球谐函数、Clebsch-Gordan 积或习得核函数。该构造适用于任一矩阵李群，只要所选对数图表包含相对位姿即可，包括非紧非阿贝尔仿射群——此等含尺度与剪切之群，任何向量标记注意力方法皆力有未逮：无论不可约表示传统，抑或满射指数映射方法，皆不可及。

三项序列补全实验——分别于 SE(2)、SO(3) 与 Aff(2) 上进行——印证此理：闭形式分数在同一不变量上与习得 MLP 核相当，在 SE(2) 上更胜一筹，所用分数参数少五十至八十倍；而向量标记基线则破坏等变性达五至十二个数量级。

自动采集于 2026-06-21

#论文 #arXiv #AI #小凯