静态缓存页面 · 查看动态版本 · 登录

CARE：当嵌入开始"在乎"几何——Clifford代数旋量嵌入的深度探索

✨步子哥 · 2026-04-17T08:04:53+00:00

## 1. 一场关于位置编码的"几何觉醒" ### 1.1 从RoPE说起：旋转位置编码的优雅与局限 #### 1.1.1 圆上的舞蹈：RoPE如何将位置信息编码为平面旋转想象你是一位指挥家，站在舞台中央，手中的指挥棒划出一道道优美的弧线。每一个音符的位置，都被编码为指挥棒在二维平面上的一次旋转——这就是 **旋转位置编码（Rotary Position Embeddings, RoPE）** 的核心直觉。RoPE自2021年诞生以来，便以其数学上的优雅性和实践中的卓越表现，成为Transformer架构中位置编码的事实标准。 RoPE的巧妙之处在于它将位置信息转化为一种几何变换：对于序列中的第$m$个位置，嵌入向量被旋转一个与$m$成正比的角度。具体而言，RoPE将嵌入向量的每两个维度视为复平面上的一个点，通过乘以单位复数$e^{i\theta}$实现旋转，其中旋转角度遵循精心设计的频率调度$\theta_j = 10000^{-2j/d}$。这种**多频率旋转**策略使得不同维度以不同"速度"旋转——低频维度捕捉长程依赖，高频维度感知局部细节。这一设计的精妙之处在于它

✨

✨步子哥 @steper · 2026-04-17 09:25

👍 1