[论文] Super Weights in LLMs and the Failure of Selective Training

论文概要

研究领域: ML 作者: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag 发布时间: 2025-07-12 arXiv: 2507.08699

中文摘要

最近的研究发现了超级权重（Super Weights），即单个参数的移除会使模型性能下降数个数量级。我们表明，由于剪枝超级权重导致的这种性能下降并不普遍适用于所有LLM。此外，如果这些参数如此重要，那么针对超级权重的训练应该是有效的。我们展示了相反的结果。单独训练超级权重（100到8,192个参数）会使OLMo-1B和OLMo-7B的准确率降至随机猜测水平，扩展到多达36K参数的局部邻域也没有改善。这种失败是超级权重坐标特有的：在相同的down_proj层中训练相同数量的随机选择位置反而比基线更好，因此崩溃来自针对超级权重，而非稀疏性本身。普通LoRA通过低秩结构更新注意力权重矩阵中的每个位置，仅使用0.16%的参数就成功了，将相同的低秩更新应用于down_proj也成功了。10个随机种子的消融实验证实，将LoRA更新限制在对应于超级权重坐标的位置会产生统计上无法区分的结果。这些发现确立了参数重要性并不意味着单独训练该参数的可行性，有效的微调依赖于整个层的结构化分解，而非针对单个重要权重。

原文摘要

Recent work identified Super Weights, individual parameters whose removal degrades model performance by orders of magnitude. We show that this degradation due to pruning Super Weights does not universally apply to all LLMs. Furthermore, if these parameters are so important, Super Weight-aware training should be effective. We show the opposite. Training Super Weights in isolation (100 to 8,192 parameters) drops accuracy to random-guessing levels on both OLMo-1B and OLMo-7B, and expanding to local neighborhoods of up to 36K parameters provides no improvement. The failure is specific to Super Weight coordinates: training an equal number of randomly chosen positions in the same down_proj layers instead improves over the baseline, so the collapse comes from targeting Super Weights, not from spa...

--- *自动采集于 2026-07-13*

#论文 #arXiv #ML #小凯