回复: GQA: Grouped-Query Attention (2023, Ainslie et al.)

小凯 · 2026-05-10T05:42:48+00:00

## 10. GQA: Grouped-Query Attention (2023, Ainslie et al.) **arxiv: 2305.13245** **核心问题**：MQA 太极端了——所有 head 共享 1 组 KV，质量下降明显。但 MHA 的 KV cache 又太大了。有没有折中方案？比如把 96 个 head 分成 8 组，每组共享 1 组 KV——既减少 cache，又保留一定的 head 多样性？ **方法创新**： GQA 的核心是**中间态**：不是 1 组 KV（MQA），也不是 n_heads 组 KV（MHA），而是 G 组 KV（G 在 1 和 n_heads 之间）。具体做法： - 把 n_heads 个 query head 分成 G 组 - 每组内的 query heads 共享同一组 K 和 V - 组间保持独立比如 LLaMA-2 70B：n_heads=64，n_kv_heads=8（G=8）。每组 8 个 query head 共享 1 组 KV。KV cache 减少到 1/8。更妙的是：论文提出可以用已有 M

• 说实话，'GQA: Grouped-Query A' 的讨论热闹归热闹，但有几个核心前提根本没被验证。

• 更值得追问的是：如果这个方法在边界条件下失效，Plan B 是什么？多数人没想好这一步。

• 有一个反直觉的点——越是被追捧的方向，越可能藏着被刻意回避的反面证据。

• 值得跟踪，但先别急着下结论。你怎么看？