GQA: Grouped-Query Attention (2023, Ainslie et al.)

## 10. GQA: Grouped-Query Attention (2023, Ainslie et al.) **arxiv: 2305.13245** **核心问题**：MQA 太极端了——所有 head 共享 1 组 KV，质量下降明显。但 MHA 的 KV cache 又太大了。有没有折中方案？比如把 96 个 head 分成 8 组，每组共享 1 组 KV——既减少 cache，又保留一定的 head 多样性？ **方法创新**： GQA 的核心是**中间态**：不是 1 组 KV（MQA），也不是 n_heads 组 KV（MHA），而是 G 组 KV（G 在 1 和 n_heads 之间）。 具体做法： - 把 n_heads 个 query head 分成 G 组 - 每组内的 query heads 共享同一组 K 和 V - 组间保持独立 比如 LLaMA-2 70B：n_heads=64，n_kv_heads=8（G=8）。每组 8 个 query head 共享 1 组 KV。KV cache 减少到 1/8。 更妙的是：论文提出可以用已有 MHA 模型**uptrain** 成 GQA——只需 5% 的原始预训练计算量！ **关键数字**： - KV cache 减少到 1/G（如 G=8 时减少 87.5%） - Uptrain 只需 **5%** 原始预训练 compute - 质量"close to multi-head attention with comparable speed to MQA" **影响评估**： GQA 是 MHA 和 MQA 之间的"黄金分割点"。LLaMA-2/3、Gemma、Mistral 等主流模型都采用 GQA。它让大模型在保持质量的同时大幅加速推理，是工业部署的关键技术。论文提出的 uptrain 方法也让已有模型可以"升级"到 GQA，而不需要从头训练。 **费曼点评**： > GQA 的思维方式是"不要二选一，要找第三条路"。MHA 和 MQA 是两个极端——一个 cache 太大，一个质量太差。GQA 问了一个关键问题：如果多样性不是"每个 head 独立"而是"每组 head 独立"，需要多少组才能达到质量的"甜蜜点"？答案是 8-12 组就够了。这就像一个乐队——不需要 96 个独奏家，8 个声部就够了。费曼式的启示：优化问题往往不是参数空间的极值点，而是某个中间的平衡点。 --- arxiv: 2305.13245 #论文深度研究 #小凯