给每个神经元标价——哪些对过去最重要，哪些可以腾出来学新东西

你让一个训练好的模型学一个新任务——比如先学会了识别猫，再学识别狗。学到一半，它的"猫"准确率开始下降。等到狗学明白了，猫忘干净了。 这叫灾难性遗忘。它是持续学习（continual learning）中最顽固的问题。 解决思路大体分成两类。一类是"回放"——存一些旧任务的样本，学习新任务时一起回放，让模型别忘。但存数据涉及隐私、存储、和数据分布的偏差。另一类是"冻结"——识别出对旧任务至关重要的参数，把它们锁定，不参与新任务的更新。但问题在于：怎么知道哪些参数是"关键"的？ Vahedifar、Ray 和 Zhang 最近的一篇论文（2605.15877），被 ICML 2026 接收了，给出了一种基于夏普利值的答案。 **🎲 夏普利值是什么** 夏普利值是博弈论里的一个概念，用来解决"一个团队合作产生了收益，怎么公平地分配给每个成员"。 想象三个人一起做了一笔生意，赚了 90 块钱。每个人各自贡献了多少？不是拿工资除以三这种简单算法。你要看：如果没有 A，B 和 C 能赚多少？如果没有 B，A 和 C 能赚多少？如果把 A 换成别人，价值会怎么变？ 夏普利值就是穷举所有可能的子集组合，计算每个人的"边际贡献"的平均值。它在经济学、政治学里已经用了七十年了。最近十年被引进到机器学习里做特征归因——这是 SHAP 解释方法的来源。 这篇论文做的事就是把夏普利值用到神经元上而不是特征上。 **🧠 给神经元估值** 在持续学习的场景下，"团队"是神经网络的所有神经元，"收益"是这个模型在旧任务上的性能。 每个神经元对旧任务的"重要性"就是它的夏普利值——如果把所有神经元随机去掉一部分（或者冻住一部分），这个神经元的边际贡献是多少。 实践中当然不可能真的穷举所有神经元的组合——一个 1000 个神经元的网络有 2^1000 个可能的子集。他们用蒙特卡洛采样来近似。采样的结果就是每个神经元的"重要性分数"。 **🔒 锁定重要的，释放不重要的** 学习新任务时，那些夏普利值高的神经元被冻结——它们对旧任务太重要了，学新任务会冲掉它们存储的信息。那些夏普利值低的神经元保留在学习状态——它们对旧任务没那么关键，可以自由适应新东西。 这个方法不需要存储任何旧任务的训练样本（buffer-free），也不需要扩展模型的架构。所有"记忆"都用神经元权重的冻结来实现。 在 ImageNet-1k 上的结果：在类增量学习场景中，比次优的竞品方法高 2.88%；在任务增量学习场景中，高 6.46%。 **🤷 不清楚的地方** 第一，夏普利值采样的方差有多大？蒙特卡洛近似夏普利值在特征层面（SHAP）上的方差问题已经有很多讨论。在神经元层面——参数量大几个数量级——方差可能更严重。论文在 ImageNet-1k 上有不错的结果，但这个方差可能限制了神经元选择的可复现性。同一组神经元在不同种子下的重要性排名是否稳定？我不确定。 第二，"冻结重要神经元"意味着你假设了旧知识完全由一些关键的神经元存储。这个假设不一定成立。神经元层面的知识存储可能是高度分布式的——信息分散在很多低重要度神经元的交互中。冻结最高夏普利值的 5% 可能保留了大部分知识，也可能只保留了一些"显眼的"但并非本质的知识。这是一个结构性的担心。 第三，这个方法在不同规模的模型上的扩展性如何？夏普利值的计算复杂度随着神经元数量增长得很快。对于 70 亿参数的大模型，即使采样近似也不是一个轻量级操作。论文在 ImageNet-1k 的架构（应该是 ResNet 规模）上验证了效果，但没讨论扩展到 LLM 的可行性。 但核心想法很聪明：把"持续学习时忘记旧任务"重新定义为"博弈论中的贡献分配问题"。不是问哪些东西要记，而是问：如果没有你，我们（旧任务的性能）会损失多少？这个问法本身就有价值。 --- **参考文献** 1. Vahedifar, M. A., Ray, A., & Zhang, Q. (2026). *Shapley Neuron Values for Continual Learning: Which Neurons Matter Most?* arXiv:2605.15877 [cs.LG]. https://arxiv.org/abs/2605.15877 (ICML 2026) 2. Shapley, L. S. (1953). *A Value for n-Person Games*. Contributions to the Theory of Games, 2(28), 307-317. 3. Kirkpatrick, J., et al. (2017). *Overcoming Catastrophic Forgetting in Neural Networks*. PNAS, 114(13), 3521-3526. 4. Lundberg, S. M., & Lee, S.-I. (2017). *A Unified Approach to Interpreting Model Predictions*. NeurIPS 2017. 5. Lopez-Paz, D., & Ranzato, M. (2017). *Gradient Episodic Memory for Continual Learning*. NeurIPS 2017.