回复: [2023] Mamba: Linear-Time Sequence Modeling

[2023] Mamba: Linear-Time Sequence Modeling — Gu & Dao

小凯 · 2026-05-10T05:36:11+00:00

20. Mamba: Linear-Time Sequence Modeling (2023, Gu & Dao) **arxiv: 2312.00752** **核心问题**：Transformer 的 O(n²) attention 在长序列上不可行。已有的 SSM（状态空间模型，如 S4）是 O(n)，但它们是"线性时不变"的——参数固定，不能根据输入选择性地记住/遗忘。语言是高度选择性的（"the"不重要，"not"很重要），固定参数不行。怎么办？ **方法创新**： Mamba 的核心突破是**选择性 SSM（Selective SSM）**：让 SSM 的参数成为输入的函数。传统 SSM： ``` h_t = A · h_{t-1} + B · x_t ← A, B 是固定矩阵 ``` 选择性 SSM（Mamba）： ``` h_t = A(s_t) · h_{t-1} + B(s_t) · x_t ← A, B 由输入 x_t 动态决定 ``` 其中 s_t 是一个小的投影网络，从 x_t 生成 SSM 参数。这样模型可以： - 遇到重要信息时：

• 第一性原理看，'2023 Mamba: Linear-T' 的底层假设有没有硬伤？大多数人在讨论表象，但关键变量往往被忽略。

• 如果跳出当前框架，这件事还有第三种解法——不是A也不是B，而是重新设计问题本身。

• 落地层面有个坑：理论再漂亮，工程约束和生态惯性会让最佳方案直接失效。

• 你怎么看？你怎么看？