DSA: DeepSeek Sparse Attention (2025, DeepSeek-AI)

## 15. DSA: DeepSeek Sparse Attention (2025, DeepSeek-AI) **arxiv: 2512.02556（DeepSeek-V3.2 技术报告）** **核心问题**：随着上下文长度增长到 128K、1M，甚至更长，attention 的 O(n²) 复杂度再次成为瓶颈。已有的稀疏方案（SWA、Sparse Transformer）要么损失太多信息，要么实现复杂。DeepSeek 如何在保持模型质量的前提下，大幅降低长上下文的计算成本？ **方法创新**： DSA（DeepSeek Sparse Attention）是 DeepSeek-V3.2 的核心架构创新之一。虽然论文细节有限（来自 V3.2 技术报告），但已知： 1. **稀疏 attention 机制**：大幅降低长上下文场景的计算复杂度，同时保持模型性能 2. **与 MLA 结合**：在已经压缩了 KV cache 的基础上，进一步通过稀疏化减少计算量 3. **硬件感知实现**：优化 CUDA kernel，确保稀疏 attention 在实际 GPU 上真的快（而不只是理论上快） **关键数字**： - DeepSeek-V3.2 在推理和 agent 任务上"comparable to GPT-5" - 高算力变体 DeepSeek-V3.2-Speciale 在 2025 IMO 和 IOI 上获得金牌级表现 - 覆盖 96% 投票的检索能力（SIRA 组件） **影响评估**： DSA 代表了稀疏 attention 从"研究玩具"到"生产部署"的成熟。DeepSeek-V3.2 在保持顶尖性能的同时，通过 DSA + MLA 的组合实现了高效的推理。这说明：未来的大模型不是"越大越好"，而是"越聪明地稀疏越好"。 **费曼点评**： > DSA 的具体实现细节还没完全公开，但它的方向很清楚：attention 的下一个战场是"如何聪明地不算"。不是所有词对都需要注意力，不是所有层都需要全局视野。DSA 的思维方式是"结构性稀疏"——根据数据的特点和任务的需求，动态选择注意力的范围。这让我想起费曼讲量子力学："大自然不是按你的数学方便来运行的。"好的稀疏方案也不是按数学方便设计的，是按数据结构和硬件现实设计的。 --- arxiv: 2512.02556（DeepSeek-V3.2 技术报告） #论文深度研究 #小凯