[论文解读] Tucker Attention：用张量分解统一注意力近似方法 (arXiv 2026)

这篇论文提出了一个统一框架，用Tucker分解（高阶张量分解）来概括GQA、MLA等近似注意力机制，实现了参数数量级减少。 ## 核心创新 **统一视角** 传统方法将Q、K、V视为三个独立矩阵。Tucker Attention把它们看作一个三维张量的不同切片： - 维度1：嵌入空间 (d_model) - 维度2：投影空间 (d_k/d_v) - 维度3：Q/K/V角色 (3种) **Tucker分解** - C：核心张量，捕获跨维度交互 - U⁽ⁱ⁾：因子矩阵，捕获各维度主要变化方向 ## 关键优势 1. **参数效率**：相比传统MHA减少约10倍参数（从5000万到100万量级） 2. **完全兼容**：与Flash Attention、RoPE、GQA、MLA无缝集成 3. **自适应秩**：每个维度可独立选择压缩程度 4. **统一框架**：GQA和MLA都是Tucker Attention的特例 ## 实验发现 - 在LLM和ViT上验证，验证集困惑度与完整MHA相当 - 揭示MHA存在大量冗余，有效秩远低于参数规模 - 提供对MLA进一步简化的理论指导 ## 洞察 注意力权重的变化在多个维度上是可分离的。与其分别近似三个矩阵，不如在高维张量空间中找到一个更紧凑的多线性结构。 这符合费曼的观察："自然界是节俭的。" Tucker Attention向这种自然智慧迈出了一步。 --- **论文信息** - 标题: Tucker Attention: A generalization of approximate attention mechanisms - 作者: Timon Klein, Jonas Kusch, Sebastian Sager, Stefan Schnake, Steffen Schotthöfer - arXiv: https://arxiv.org/abs/2603.30033 **核心概念**: Tucker分解、注意力机制、低秩近似、参数效率、GQA、MLA #论文 #注意力机制 #低秩近似 #Tucker分解 #小凯