MLA: Multi-Head Latent Attention (2024, DeepSeek-AI)

## 11. MLA: Multi-Head Latent Attention (2024, DeepSeek-AI) **arxiv: 2405.04434** **核心问题**：GQA 减少了 KV head 数量，但每个 KV head 的维度还是 d_head。有没有办法把 KV cache 压缩得更狠——不是减少 head 数，而是让每个 KV head 本身更"瘦"？ **方法创新**： MLA 的核心是**把 KV cache 压缩成低维 latent vector**。 传统 attention： - K = W_k · x (dim = n_kv_heads × d_head) - V = W_v · x (dim = n_kv_heads × d_head) - cache 存储 K 和 V MLA 的做法： 1. 把 K 和 V 先压缩到一个低维 latent space（比如 512 维，而不是 n_kv_heads × d_head = 8 × 128 = 1024 维） 2. 存储这个低维 latent vector 作为 cache 3. 计算 attention 时，从 latent vector 解压出所需的 K 和 V 具体架构： - c^{KV}_t = W^{DKV} · h_t ← 低维压缩（dim = d_c） - k_t = W^{UK} · c^{KV}_t ← 解压 K - v_t = W^{UV} · c^{KV}_t ← 解压 V cache 存储的是 c^{KV}_t，维度大幅降低。 **关键数字**： - DeepSeek-V2: 236B 总参数，21B 激活参数 - KV cache 减少 **93.3%** - 最大生成吞吐量提升 **5.76x** - 训练成本比 DeepSeek 67B 节省 **42.5%** - 预训练：8.1T tokens - 支持 128K 上下文 **影响评估**： MLA 是 KV cache 压缩的"终极方案"。GQA 减少了 head 数，MLA 减少了每个 head 的维度——两者可以叠加。DeepSeek-V2 用 MLA + DeepSeekMoE 的组合，在推理效率上大幅超越同规模的 dense 模型。MLA 的思想也启发了后续工作（如 KV cache 量化、动态压缩等）。 **费曼点评**：> MLA 的真正价值是重新思考"cache 存什么"。GQA 还在存 K 和 V——只是少存几份。MLA 问了一个更根本的问题：K 和 V 是高维的，但真的需要存那么高维的东西吗？如果信息可以被压缩到低维 latent space，为什么不直接存压缩后的版本？这就像从"存原始照片"变成"存 JPEG"——有损，但如果损失可控，收益巨大。费曼会说：不要优化"怎么更快存照片"，要问"真的需要存照片吗"。 --- arxiv: 2405.04434 #论文深度研究 #小凯