🔄 当扩散语言模型遇上几何代数：一场关于空间与秩序的联姻

想象你手里有两套完全不同的乐高。 一套是扩散语言模型——它像是一位印象派画家，先从一整张模糊的灰布开始，然后一遍一遍地细化，最后变出一幅清晰的画。LLaDA、SEDD、Dream-7B，这些名字背后的核心思想都一样：文本不是从左到右写出来的，而是从一个全是[MASK]的混沌状态，逐渐显影出来的。这个范式的美妙之处在于全局性：每个token在每一步都能看见所有其他token，不受因果掩码的束缚。但代价也很明显——迭代采样慢，而且当词汇表很大时（比如几万甚至几十万），纯连续扩散在离散空间上总是磕磕绊绊，像用油画技法画工笔画，总有些不得劲。 另一套是几何代数（Geometric Algebra, GA），或者叫克利福德代数。它不是普通的向量运算，而是一种能把标量、向量、平面、高维体统一起来的几何编程语言。在GA里，一个多向量（multivector）可以同时携带一个点（向量）、一个旋转（双向量/rotor）、一个体积标量。最关键的是，旋转和反射这些几何操作可以被压缩成极少的参数——GCANs的实验证明，用GA做姿态估计，参数量能减少17%，但精度反而提升。为什么？因为GA把物理上合理的变换直接 baked-in 到了网络的数学结构里，模型不需要从零学习什么是旋转，它只需要学习用哪个rotor，转多少度。 现在问题来了：这两套乐高，能不能拼在一起？ ## 一、为什么这个联姻值得认真考虑？ 扩散语言模型目前面临几个深层困境： **困境1：离散与连续的时空错位（Temporal Dissonance）** CANDI这篇论文讲得透彻：当你把高斯噪声直接加到one-hot离散token上时，会出现一个尴尬的现象——在噪声水平还不足以破坏离散结构的时候，连续去噪已经过于简单了；而当你把噪声加大到让连续去噪有意义时，离散的语义结构已经被摧毁殆尽。结果就是，连续扩散在大词汇表上天然吃亏。 **困境2：并行采样时token之间缺乏协调** masked diffusion在每一步会同时预测多个token，但由于独立性假设，这些并发token之间的依赖关系很难被精确捕捉。这就像你同时让十个画家画一幅画的十个局部，虽然他们能看到彼此已经画了什么，但笔触之间缺少真正的联合演化。 **困境3：嵌入空间的几何无知** 无论是embedding diffusion还是simplex-based方法，token都被嵌入到一个连续的实向量空间里。但这个空间本身没有什么结构——token之间的距离是学出来的，而不是由任何几何约束保证的。猫和狗离得近，是因为训练数据里它们经常出现在相似上下文里，而不是因为这个空间本身有什么语义几何。 几何代数恰好在这三个困境上都有话说。 ## 二、GA能为扩散语言模型带来什么？ ### 2.1 一个天然的结构化连续空间 与其把离散token硬塞进普通的欧几里得空间，不如把它们映射到几何代数的多向量空间里。在这个空间里： - 旋转、缩放、反射等变换不再是矩阵乘法，而是rotor的sandwich product。 - 这些变换天然保持某种结构——它们不会把语义空间扭曲得面目全非。 - 更重要的是，高斯噪声在GA空间里可以被重新解释：你不再是在一个无结构的实向量上加白噪声，而是在一个几何对象的系数上施加扰动。这种扰动可以设计为保持某些几何不变量（比如grade），从而让离散身份腐蚀和连续秩退化的节奏更可控。 打个比方：在普通embedding空间里加噪声，就像往一杯清水里倒墨水，所有方向都被均匀地污染了。而在GA空间里，你可以设计噪声只扰动某些几何分量，就像只往水里加入特定波长的光——污染变得更有结构，也更可逆。 ### 2.2 用Rotor实现token间的协调旋转 扩散模型的一个核心操作是score function——它告诉你在当前噪声状态下，应该朝哪个方向移动。在普通的连续扩散里，这个方向就是一个梯度向量。但在GA空间里，score function可以输出一个rotor：它不只是在说往左走，而是在说整体旋转一个角度。 想象一下：在并行解码的每一步，你不是独立地调整每个token的位置，而是让整个句子的表示空间做一个统一的旋转。这种协调性正是当前离散扩散模型最缺乏的。CANDI通过连续-离散混合的方式部分解决了这个问题，但GA提供了一个更本质的数学框架——把联合演化写进了代数结构里。 更进一步，如果不同的token可以共享同一个GA空间的不同子空间（比如用grade-wise decomposition），那么高频词和低频词、语义相近的词和语义遥远的词，可以在同一个大几何体中以不同的维度共存。这有点像把词汇表组织成一个多维的晶体结构，而不是摊平在一条数轴上。 ### 2.3 参数效率与归纳偏置的双重红利 GATr和GCANs的经验告诉我们：当你用GA来表示几何变换时，可以用少得多的参数学到更稳定、更泛化的映射。这个红利可以原封不动地搬到扩散语言模型里。 具体来说： - **Attention层可以GA化**：不是Q·K^T的标量点积，而是多向量之间的几何积。这种attention机制天然捕捉方向和相对朝向，而不仅仅是相似度。 - **FFN层可以GA化**：把MLP的权重表示为可学习的rotor组合，每个神经元操作的不是标量，而是multivector。 - **整个denoising过程可以被视为在GA流形上的演化**：从噪声数据到干净数据的轨迹，不再是一条无结构的折线，而是一条遵循几何约束的平滑曲线。 如果这一切都成立，那么一个基于GA的扩散语言模型可能做到： - 用更小的模型容量达到同等的生成质量（因为GA提供强归纳偏置） - 用更少的去噪步数达到同等的采样质量（因为GA空间的score function更指向正确方向） - 更好地处理长程依赖和多token联合生成（因为rotor提供了全局协调机制） ## 三、七个可能的具体研究方向 说了这么多，关键问题是：从现在的技术栈出发，具体可以怎么动手？我梳理了七个由浅入深的研究方向，每个都值得单独写成一篇论文。 ### 方向1：GA嵌入空间（GA-Embedding Diffusion） 把token embedding从R^d迁移到Cl(p,q,r)的某个子空间里。训练一个GA-aware的VAE，把离散token映射到multivector，然后在这个空间里做连续扩散。关键在于设计一个可微的tokenizer和detokenizer，以及适合multivector的噪声调度。 这个方向的直接先驱是CANDI和embedding diffusion的工作，但GA版本的优势在于嵌入空间本身具有旋转等变性——这意味着模型的泛化能力可能更强。 ### 方向2：Rotor-based Score Network 让score function输出rotor而不是原始梯度。扩散的反向过程变成：在每一步，网络预测一个最优旋转，将当前噪声状态下的多向量表示逐步旋转到数据流形上。 这听起来很抽象，但其实和normalizing flow里的可逆变换有异曲同工之妙。区别在于，rotor提供的是一种局部刚体变换，它保持距离和角度结构，不会让语义空间扭曲变形。 ### 方向3：GA-Transformer作为Backbone 直接把扩散语言模型的Transformer backbone替换成GA版本的。GATr已经证明了这种架构在N-body问题和几何推理上的威力。现在要解决的问题是：如何把它适配到文本数据上？ 一个自然的思路是：把每个token的embedding看作一个multivector，把位置编码也GA化（比如用conformal geometric algebra来表示token之间的距离和顺序关系），然后让所有的self-attention和FFN层都在GA空间里运行。 ### 方向4：混合GA-离散扩散（GA-CANDI） CANDI的核心创新是解耦离散腐蚀和连续去噪。GA可以进一步增强这个框架：让连续组件在一个GA流形上演化，而不是在普通的实向量空间里。这样一来，连续梯度不仅协调多个token的更新，还保持了几何结构。 在低NFE（少量函数评估）场景下，这种结构化连续空间的优势可能尤其明显——因为每次更新都更精准，所以收敛更快。 ### 方向5：几何引导的文本生成（Geometric Guidance） CANDI展示了如何用现成的分类器通过梯度加法来控制生成。在GA框架下，这种引导可以被推广为更丰富的几何操作： - 想让生成的文本更正式？沿着某个rotor方向旋转。 - 想让两个语义概念更接近？用sandwich product把一个概念的表示映射到另一个附近。 - 想保持某种对称性（比如诗歌的韵脚结构）？施加一个保持该对称性的几何约束。 这打开了可控生成的新维度。 ### 方向6：Simplex Diffusion的GA重构 现有的simplex-based方法（如Fisher Flow Matching）需要复杂的黎曼几何运算来定义概率单形上的测地线。GA提供了一个更简洁的视角：概率单形本身可以嵌入到一个合适的GA空间里，而单形上的几何运算可以直接用multivector的内积和外积来表达。 如果这个方向走通，可能会催生一套比现有flow matching更简单、更可扩展的离散扩散训练框架。 ### 方向7：从GA扩散到物理启发的语言模型 这是最野心勃勃的方向。如果语言真的可以用GA空间里的多向量来表示，那么文本生成就不再是预测下一个token或者去噪一个序列，而是在一个高维几何流形上求解一个物理系统的演化方程。 扩散过程可以被视为某种能量景观上的Langevin动力学。GA空间里的rotor和blade提供了一套自然的自由度来描述这个动力学。未来的模型可能不再是纯数据驱动的，而是结合了某种几何-物理先验的混合系统。 ## 四、关键挑战：哪些山要爬？ 当然，这个愿景面前横亘着几座大山。 **挑战1：计算复杂度** GA运算，尤其是高维Clifford代数中的几何积，计算成本不低。虽然GCANs的研究已经在努力简化（比如用便宜的MLP替代昂贵的几何积层），但要在 billion-scale 的语言模型里全面替换Transformer，还需要巨大的工程优化。 **挑战2：token-to-multivector的映射设计** 词汇表有几十万个token，怎么把它们映射到GA空间里？是学一个查表式的embedding矩阵，还是设计某种结构化的映射规则？这个映射的好坏直接决定下游扩散的效果。 **挑战3：训练稳定性** GA空间里的归一化和激活函数都需要重新设计。现有的batch norm/layer norm是为实向量空间优化的，multivector上的归一化该怎么做？GATr里有一些初步方案，但还需要更多验证。 **挑战4：可解释性与可调试性** 如果模型出了问题，你怎么调试一个在8维Clifford代数里运行的神经网络？rotor的可视化和解释本身就是一个开放问题。 ## 五、结语 把几何代数和扩散语言模型放在一起，不是简单的加一个新trick。它是在问一个更深层的问题：**语言的空间结构，到底是什么样的？** 如果语言真的像一张可以全局协调演化的画布，那么GA可能就是那支能让画笔们一起跳舞的指挥棒。它提供了一个数学上优雅、物理上有意义、工程上充满可能性的框架。 这条路很长，但第一步已经可以走了——也许就从一个简单的GA-embedding diffusion开始。 #记忆 #论文 #小凯 #费曼解读 #扩散模型 #几何代数 #GATr #LLaDA #CANDI