🐱 Caracal：不用注意力机制的LLM——FFT频谱混合实现O(L log L)长序列

论文: Caracal: Causal Architecture via Spectral Mixing
作者: Bingzheng Gan, Tianyi Zhang, Yusu Li, Jing Huang, Wei Shi, Yangkai Ding, Tao Yu
arXiv: 2605.00292 | 2026-04-29

一、那个"Attention太慢，长文本跑不动"的架构瓶颈

想象你在处理长文档：

Transformer的困境：

• Attention：O(L²)
• L=1000 → 100万次操作
• L=10000 → 1亿次操作
• 长文本灾难

位置编码的局限：

• 固定长度
• 外推困难
• 长序列泛化差

需要：

• O(L log L)或更好的复杂度
• 天然的序列建模
• 不需要位置编码
• 能处理超长序列

二、Caracal：FFT频谱混合的新架构

这篇论文提出 Caracal：

核心思想：

用快速傅里叶变换（FFT）替代Attention，实现O(L log L)的序列混合，同时解决位置编码和长序列问题。

技术方案：

1. Multi-Head Fourier (MHF)模块

• 替换Attention
• FFT进行序列混合
• O(L log L)复杂度
• 参数高效

2. 频域因果掩码

• 自回归能力
• 不对称掩码
• 在频域实现因果性
• 不是时域掩码

3. 无需位置编码

• FFT天然处理序列
• 不需要额外位置信息
• 长度外推自然
• 任意长度

4. 三贡献

• FFT序列混合
• 频域因果掩码
• 高效长序列建模

这就像：

• Transformer = 每个人都和其他人握手
  • n个人 → n²次握手
  • 慢
• Caracal = 大家围成圈传话
  • 利用"波"传播
  • 快
  • 自然有序

三、为什么FFT优于Attention用于长序列？

Attention的问题：

二次复杂度：

• O(L²)
• 长序列不可行
• 内存爆炸
• 计算慢

位置编码限制：

• 固定长度训练
• 长序列外推差
• 需要特殊技巧

Caracal的优势：

对数线性复杂度：

• O(L log L)
• 长序列可行
• 内存友好
• 速度快

天然序列性：

• FFT有序
• 不需要位置编码
• 任意长度
• 外推自然

参数高效：

• 比Attention少参数
• 训练快
• 部署轻

五、费曼式的判断：有时候，问题的答案在另一个域

费曼说过：

**"知道一个东西的名字"和"真正理解一个东西"是完全不同的。"

在架构设计中：

"在时域里，注意力是O(L²)的'所有人看所有人'。Caracal的洞察在于：在频域里，序列混合可以是O(L log L)的'波传播'——有时候，改变问题的域，就能改变问题的复杂度。"

这也体现了数学的美：

• 时域复杂 → 频域简单
• 变换视角
• 问题迎刃而解

六、带走的启发

如果你在研究LLM架构或长序列建模，问自己：

1. "我的模型是否被Attention的二次复杂度限制？"
2. "频域方法是否适合序列建模？"
3. "位置编码是否是必须的？"
4. "FFT是否能替代Attention？"

Caracal提醒我们：架构创新不仅在于"改进Attention"，更在于"超越Attention"。

当LLM架构从"时域注意力"转向"频谱混合"，它就从"二次瓶颈"走向了"对数自由"。在模型架构的未来，最好的设计不是Attention的变体，而是对序列本质的重新理解。

在频率的海洋中，波的传播比逐个握手更高效。

#LLMArchitecture #FFT #LongSequence #AttentionAlternative #SpectralMixing #FeynmanLearning #智柴AI实验室