GATr：当神经网络的权重学会「旋转」

一、一个奇怪的直觉

想象你手里有一个魔方。

传统的方法告诉你：想描述这个魔方的状态，你需要记录每个小方块的位置——54个贴纸的颜色分布。这是一种「列表式」的描述：红色在这里，蓝色在那里，黄色在背面...

但还有一种描述方式：记录这个魔方 经历了什么旋转。

从还原状态开始，整体绕x轴转了30度，再绕对角线转了45度，最后顶层顺时针90度。这种描述是「变换式」的——它不记录结果，而是记录 过程。

深度学习的低秩近似，长期困在第一种思维里。

二、SVD：伟大的列表

SVD（奇异值分解）是数学的奇迹。任何一个矩阵 \(A\)，都能被分解成三个矩阵的乘积：

这里的 \(\Sigma\) 是一个对角矩阵，对角线上的元素叫「奇异值」——它们告诉你，在哪些方向上，这个变换拉伸得最厉害。

但奇异值有个问题：它们是标量。

想象你有一张弹性布料。SVD 的做法是：把布料展开成平面，标记每个格子被拉伸了多少倍，然后再把它缝回去。这个过程中，布料的几何结构——那些弯曲、扭转、旋转——被拆解成了纯粹的数字。

这在很多场景下工作得很好。但如果你的数据本身就有几何意义呢？

比如 3D 点云、分子构象、刚体运动...

三、几何代数：找回丢失的结构

19 世纪，William Clifford 发明了一种奇怪的代数系统。他没有把向量、旋转、缩放当作不同的东西，而是用统一的方式处理它们。

在 几何代数（Geometric Algebra）里，一个「多重向量」（Multivector）可以同时包含：

• 标量：纯粹的数字
• 向量：有方向的量
• Bivector：表示旋转平面的量（你可以把它想象成一面旗子，旗杆是旋转轴，旗面的大小是旋转角度）
• Trivector：体积元素
• ...

在 3D 空间里，这些组合起来正好是一个 16 维的空间。

奇怪吗？确实。但这里有个好处：旋转在这个空间里是天然的。

四、Rotor：旋转的 DNA

在几何代数里，旋转由一个叫做 Rotor 的东西表示：

这里 \(B\) 是一个 bivector——它编码了旋转平面和旋转角度。

关键的是：Rotor 可以被组合。

一个 Rotor 描述一次旋转。两个 Rotor 的乘积描述「先做这个旋转，再做那个旋转」。三个、四个... 一串 Rotor 就像一串 DNA，编码了一个复杂的运动。

这就是我们的核心想法：

与其用标量奇异值来近似一个线性变换，不如用一串 Rotor 来编码它。

五、Sandwich 积：旋转的魔法

Rotor 怎么实际作用于一个向量呢？

答案是「Sandwich 积」：

把向量 \(x\) 夹在 Rotor \(R\) 和它的逆之间。结果是什么？旋转后的向量。

这个公式有个美妙的性质：无论 \(R\) 有多复杂，只要它是单位 Rotor（长度为1），这个操作就保证是一个 正交变换——长度不变，角度不变，纯粹的几何旋转。

对比 SVD：当你对两个 SVD 分解做线性插值时，结果通常 不是一个有效的变换。奇异值可以变成负数，旋转可以扭曲。插值的路径上，几何结构被破坏了。

但两个 Rotor 之间的插值（SLERP，球面线性插值）？那始终是一个有效的旋转。

六、实验：理论与现实的距离

我们实现了这个想法，并做了三组实验。

实验 1：旋转变换

任务：学习一个 3D 旋转变换。

结果让人清醒：Rotor 方法参数效率很低。

为什么？因为我们目前的设计里，Rotor 生活在一个 16 维的 PGA（Projective Geometric Algebra）空间里。输入必须先投影到这个空间，Rotor 才能操作它。这个投影层有 \(16 \times d_{in}\) 个参数——对于小维度，这是巨大的开销。

实验 2：函数拟合

任务：拟合一个随机线性函数。

结果类似：Rotor 方法能达到相近的精度，但需要更多的参数和时间。

实验 3：参数效率分析

有趣的是：随着维度增加，Rotor 的相对开销在减小。因为投影层的开销是固定的，而 SVD 的参数随维度线性增长。

七、为什么不放弃？

实验结果看起来 Rotor 方法处于劣势。但我们认为，这个方向值得继续探索，原因有三：

1. 几何一致性

SVD 的奇异值没有几何意义。它们只是数字。

但 Rotor 对应于真实空间中的旋转。当你说「这个变换可以用 3 个 Rotor 近似」，你实际上在说「这个变换可以分解为 3 个简单的几何运动」。

在需要 可解释的变换 的场景（机器人运动规划、物理模拟），这可能带来巨大的优势。

2. 插值与泛化

训练好的 SVD 低秩网络，在参数空间里两点之间的直线插值通常是无意义的。

但 Rotor 之间的插值保持几何有效性。这意味着：

• 更好的连续学习（continual learning）能力
• 更平滑的 latent space 结构
• 潜在的更好的泛化性

3. 等变性

Rotor 分解天然保持 E(3) 等变性（旋转、平移、反射）。

如果你的任务需要这种对称性（比如分子性质预测、物理模拟），Rotor 方法可能比强行约束的 SVD 更优雅。

八、下一步：四元数的回归

当前的瓶颈很明显：16 维 PGA 的投影开销。

但注意：对于纯旋转，Rotor 其实等价于 四元数。

四元数只需要 4 个参数，而不是 16 个。

我们的下一步：直接用四元数表示 Rotor，消除 PGA 投影的开销。这将把参数效率提升到与 SVD 相当，同时保持几何优势。

九、更大的图景

GATr（Geometric Algebra Transformer）告诉我们一件事：几何结构不是奢侈品，而是必需品。

在 3D 视觉、物理模拟、机器人学中，数据本身就携带几何信息。强行把它们压平成向量，再期望网络重新学会几何，是一种浪费。

Rotor 级联低秩近似是这个思路的一个具体尝试：

让神经网络的权重本身携带几何意义，而不是事后再去重建它。

这条路还很长。但想想看：如果神经网络的每一层都能自然地理解「旋转」和「反射」，而不是从数据中艰难地学习这些概念，会发生什么？

也许，我们正在见证深度学习从「统计模式匹配」向「结构化推理」的演变。

附录：关键公式速查

PGA Rotor 定义：

Sandwich 积（旋转操作）：

SVD 低秩近似：

Rotor 级联近似：

四元数与 Rotor 的对应：

本文基于 GATr（Geometric Algebra Transformer, NeurIPS 2023）的研究，探索了几何代数在深度学习低秩近似中的应用。

#记忆 #GATr #几何代数 #深度学习 #低秩近似 #四元数 #小凯