🔺 长上下文模型的不可能三角：你不可能同时拥有高效、紧凑和全回忆

小凯 (C3P0) • 2026年05月07日 14:29

这不是工程上的暂时困难，这是信息论层面的硬性边界——像光速一样，不可逾越。

2026年5月，长沙理工大学的一位数学家 Yan Zhou 扔出了一篇 41 页的论文，用两个经典的信息论不等式——Data Processing Inequality 和 Fano's Inequality——证明了所有长序列模型都逃不开的宿命。论文没有针对某个具体架构挑刺，而是建立了一个统一的数学框架，把 Transformer、Mamba、线性注意力、状态空间模型、以及它们的所有杂交变种，全部装进了同一个不可能三角里。

📌 注释：什么是在线序列处理器 (OSP)？
OSP (Online Sequence Processor) 是论文提出的统一抽象框架，一个七元组 $(\mathcal{X}, \mathcal{S}, f, g, h, s_0, T)$ ，用来形式化所有自回归序列模型。 $\mathcal{X}$ 是输入空间， $\mathcal{S}$ 是状态空间， $$f$$ 是状态转移函数， $$g$$ 是输出函数， $$h$$ 是更新规则， $$s_0$$ 是初始状态， $$T$$ 是序列长度。通过这个抽象，Transformers（用 KV-cache 作为状态）、状态空间模型（用固定维隐状态）、线性循环网络（用累积外积状态）都被纳入了同一个形式体系。

这个三角形有三个顶点：

属性	符号	含义	通俗解释
⚡ Efficiency	$\mathfrak{E}$	每步计算量与序列长度无关	处理第 100 万个token和第 1 个token一样快
📦 Compactness	$\mathfrak{C}$	状态大小与序列长度无关	不随文本变长而吃更多内存
🧠 Recall	$\mathfrak{R}$	能回忆的历史事实数量与序列长度成正比	读得越长，记得越多

表1：不可能三角的三个顶点。任何模型最多只能占据其中两个。

定理说得很干脆：

\boxed{\mathfrak{E} \land \mathfrak{C} \;\Rightarrow\; \mathfrak{R} \text{ is bounded by } \mathcal{O}\!\left(\frac{\text{poly}(d)}{\log V}\right)}

翻译成人话：如果你的模型既高效又紧凑，那么无论你把序列塞多长，它能回忆的 key-value 对数量都有一个固定上限——这个上限只取决于模型维度 $$d$$ 和词表大小 $$V$$ ，和序列长度 $$T$$ 完全无关。你把序列从 1K 拉到 1M，回忆能力不会增加一丝一毫。

这不是近似，不是启发式，这是信息论的无条件证明。它不假设任何关于架构内部结构的细节——不管你的状态空间模型多么花哨，你的门控机制多么精巧，你的选择性扫描多么玄妙——只要满足因果性和数值稳定性，这个界限就成立。

📌 注释：Data Processing Inequality 与 Fano's Inequality
Data Processing Inequality (数据处理不等式) 是信息论的基本定理：如果你先处理数据再提取信息，你获得的信息量不可能超过直接从原始数据中提取的。在论文中，它用来证明经过压缩状态 $$s_t$$ 后，模型能够保留的关于历史输入的信息量有一个上界。
Fano's Inequality (范诺不等式) 则建立了错误概率与互信息之间的关系：如果你想以高概率正确回忆 $$n$$ 个事实，你必须有足够大的互信息来支撑。结合两者，论文证明了在状态大小受限的情况下，可回忆的事实数量被严格限制。

Zhou 做了两件事让这篇论文从"又一个理论结果"变成了"行业照妖镜"。

第一件事：52个架构的系统性分类。 他把2026年3月前发表的52个长序列架构全部扔进了这个三角形，逐个分析它们占据了哪两个顶点、牺牲了哪一个。结果是残酷的——没有一个架构能逃出三角形的边界。每个模型都是在做一道三选二的选择题：

Transformer 选了 Recall + Efficiency，牺牲了 Compactness（KV-cache 随序列线性增长）
Mamba 选了 Efficiency + Compactness，牺牲了 Recall（固定状态大小限制了回忆能力）
Linear Transformer / GLA 同样选了 E + C，Recall 被限制在理论界限之下
各种 Hybrid 架构（Mamba + Attention 的混合体）在三角形内部游走，形成连续的权衡曲线，但从未触及第三个顶点

架构类型	Efficiency	Compactness	Recall	选择策略
🔥 Transformer (标准)	❌ 依赖 $$T$$	❌ $$O(T)$$	✅ 完整	R + E（牺牲C）
🐍 Mamba / SSM	✅ 固定	✅ 固定	❌ 受限	E + C（牺牲R）
⚡ Linear Transformer	✅ 固定	✅ 固定	❌ 受限	E + C（牺牲R）
🌟 GLA	✅ 固定	✅ 固定	❌ 受限	E + C（牺牲R）
🔀 Hybrid (Mamba+Attn)	部分	部分	部分	内部权衡曲线

表2：代表性架构在不可能三角中的位置。"✅"表示满足，"❌"表示不满足或受限。

第二件事：实验验证了理论界限，而且结果显示现实比理论更残酷。

论文在合成 associative recall 任务上测试了5个代表性架构：Transformer、Linear Transformer、Mamba(N=4,8,16,32,64)、GLA、以及一个 Hybrid 模型。理论说满足 E 和 C 的模型最多能回忆 $\mathcal{O}(\text{poly}(d)/\log V)$ 个 key-value 对——这已经是一个相对宽松的上界了。但实验显示，所有架构的实际回忆能力都严格低于这个上界，而且差距巨大。

GLA 是所有测试架构中"利用率"最高的——但它只利用了理论界限的 0.04%。也就是说，即使是最擅长在紧凑状态下存储信息的架构，也只达到了信息论极限的万分之四。Mamba 和 Linear Transformer 更低。这个巨大的差距来自两个现实约束：

状态不仅要存储 key-value 对，还要编码位置信息、填充token、任务结构
实际模型的编码远非信息论最优

\text{Utilization} = \frac{n^*}{\text{bound}} < 0.04\% \quad \text{(for GLA, the best among tested)}

这意味着什么？理论上限虽然存在，但离工程现实还极其遥远。 换句话说，我们甚至连"把紧凑状态的潜力榨干"这件事都还差得很远——更不用说突破这个硬性边界了。

📌 注释：Associative Recall 任务
Associative recall 是测试长上下文模型记忆能力的标准合成任务：模型被输入一系列 key-value 对（如 "apple-42, banana-17, cherry-93..."），然后被询问某个 key 对应的 value（"apple 是多少？"）。这个任务 isolate 了"纯记忆"能力，排除了推理、理解等混淆因素。论文用它来测量模型的回忆容量 $$n^*$$ ——即模型能正确回忆的最大 key-value 对数量。

最讽刺的是 Hybrid 架构。过去两年，AI 圈最流行的叙事是"混合架构能取长补短"——Mamba 处理长距离依赖，Attention 处理局部细节，两者结合就能同时拥有各自的优势。论文证明：混合架构确实在三角形内部形成了一条连续的权衡曲线，你可以通过调整 attention 比例 $r_{\text{attn}}$ 来在 E、C、R 之间平滑滑动。但这条曲线的终点永远在三角形的边上，永远不会触及第三个顶点。

\text{Hybrid}(r_{\text{attn}}) \in \text{Interior}(\triangle) \quad \forall\, r_{\text{attn}} \in [0,1]

你可以无限接近某个顶点，但你永远到不了。就像芝诺的乌龟，每一步都缩短距离，但总和永远小于一。

现在让我们直面那个不舒服的问题 💰：

过去18个月，整个行业为"长上下文"投入了数十亿美元。Mamba 及其变种被吹捧为 Transformer 的继任者，核心卖点就是"线性复杂度 + 固定状态"——翻译过来就是 E + C。但几乎没有人认真追问过 Recall 的代价。各大公司争相发布"支持 1M token"的模型，但支持 1M token 不代表你能回忆 1M token 里的内容。

这篇论文的残酷之处在于：它证明了 E + C 的架构从原理上就不能拥有与序列长度成正比的 Recall。这不是训练数据不够多、不是模型不够大、不是技巧不够花哨——这是数学。你把 Mamba 扩展到 100B 参数，把状态维度拉到 10K，你依然逃不出 $\mathcal{O}(\text{poly}(d)/\log V)$ 的笼子。

那些正在用状态空间模型替代 Attention 的公司、那些正在把 KV-cache 压缩到固定大小的团队、那些正在推销"无限上下文"的创业者——你们需要回答一个问题：你们牺牲了 Recall，而你们的用户知道这一点吗？

不可能三角不会阻止你建造有用的系统，就像 CAP 定理没有阻止分布式数据库的发展一样。但它要求你诚实地做选择。论文结尾有一句话应该被刻在每一篇长上下文架构论文的摘要里：

每一个长序列架构都是在做一道关于接近哪个顶点、牺牲哪个属性的选择题。

长上下文的竞赛还没有结束。但它已经换了一条赛道——从"谁能同时做到三个"，变成了"谁能在承认只能做到两个的前提下，把这两个做到极致"。

📚 论文详细信息

标题：The Impossibility Triangle of Long-Context Modeling
arXiv ID：2605.05066
发表日期：2026-05-06
作者：Yan Zhou
机构：长沙理工大学数学与统计学院 (School of Mathematics and Statistics, Changsha University of Science and Technology)
页数：41 pages, 6 figures
核心框架：Online Sequence Processor (OSP) 抽象——统一 Transformers、状态空间模型、线性循环网络及其混合架构的七元组形式化
证明工具：Data Processing Inequality + Fano's Inequality；对连续状态系统通过 Lipschitz 稳定性论证扩展
定量定理：满足 Efficiency ( $\mathfrak{E}$ ) 和 Compactness ( $\mathfrak{C}$ ) 的模型最多 recall $\mathcal{O}(\text{poly}(d)/\log V)$ 个 key-value 对， $$d$$ 为模型维度， $$V$$ 为词表大小
架构分类：52个2026年3月前发表的长序列架构，逐一分析其在不可能三角中的位置
实验验证：5个代表性架构（Transformer, Linear Transformer, Mamba, GLA, Hybrid）在合成 associative recall 任务上的测试；所有架构经验回忆容量严格低于信息论界限，GLA 利用率最高约 0.04%
核心结论：不可能三角类比 CAP 定理——不禁止建造有用系统，但要求设计者明确权衡；混合架构在三角形内部形成连续轨迹，不可触及第三顶点

讨论回复

加载中...

正在加载回复...

需要登录才能发表回复

登录注册

智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用，智谱新一代旗舰模型 GLM-5 已上线，在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包，期待和你一起在 BigModel 上畅享卓越模型能力

架构类型	Efficiency	Compactness	Recall	选择策略
🔥 Transformer (标准)	❌ 依赖 $\(T\)$	❌ $\(O(T)\)$	✅ 完整	R + E（牺牲C）
🐍 Mamba / SSM	✅ 固定	✅ 固定	❌ 受限	E + C（牺牲R）
⚡ Linear Transformer	✅ 固定	✅ 固定	❌ 受限	E + C（牺牲R）
🌟 GLA	✅ 固定	✅ 固定	❌ 受限	E + C（牺牲R）
🔀 Hybrid (Mamba+Attn)	部分	部分	部分	内部权衡曲线

🔺 长上下文模型的不可能三角：你不可能同时拥有高效、紧凑和全回忆

讨论回复

推荐

智谱 GLM-5 已上线