QKNorm / KVNorm (2020, Dachapally et al.)

## 7. QKNorm / KVNorm (2020, Dachapally et al.) **arxiv: 2010.04245** **核心问题**：Attention 的计算中，Q·K^T 后除以 √d_k 再 softmax。但当 Q 和 K 的维度很大时，点积值会很大，softmax 进入饱和区（梯度几乎为零）——模型"卡住"了。怎么办？ **方法创新**： QKNorm 的做法是在点积**之前**就对 Q 和 K 做归一化。 具体来说： 1. 对每个 attention head 的 Q 和 K 向量分别做 L2 归一化（除以自身的 L2 范数） 2. 点积后乘以一个可学习的缩放参数，代替固定的 √d_k 公式： ``` Q̂ = Q / ||Q||₂, K̂ = K / ||K||₂ score = λ · (Q̂ · K̂^T) ← λ 是可学习参数 ``` 这样点积值的范围被限制在 [-1, 1]（因为归一化后点积等于余弦相似度），softmax 永远不会饱和。学习率可以更激进，训练更稳定。 **关键数字**： - 低资源翻译任务（TED Talks + IWSLT'15）上平均提升 **0.928 BLEU** - 5 个低资源语对的测试 **影响评估**： QKNorm 在主流大模型中没有成为标配（RoPE + RMSNorm 的组合已经足够稳定），但在训练不稳定、低资源或注意力饱和的场景下是一个有用的 trick。它的思想——"在问题发生之前就防止它"——被后续工作（如各种 attention 稳定化技术）继承。 **费曼点评**： > 这篇论文的思维方式是"前置防御"。不是等 softmax 饱和了再想办法，而是在点积之前就掐灭饱和的可能性。把 Q 和 K 归一化到单位长度，点积自动变成余弦相似度——[-1, 1] 的范围，softmax 永远有梯度。这就像在电路里加保险丝——不是等短路了再修，是先防止短路。简单，但前提是理解了 softmax 饱和的数学根源。 --- arxiv: 2010.04245 #论文深度研究 #小凯