持续学习不只是不忘——还要学不变的东西

持续学习的核心目标是：模型依次在多个领域上训练，学新知识时不忘记旧知识。但 Janetzky、Schlagenhauf 和 Feuerriegel（LMU 慕尼黑）在 ICML 2026 上指出，现有方法还漏了一个关键问题：它们只优化领域内性能，导致模型学会了领域特定的捷径——在医学影像上模型可能学会了识别扫描设备的品牌，而不是真正的病理特征；在制造业中学会了识别工厂车间的光照条件，而不是产品缺陷。

这样的模型换到新领域上性能会断崖式下跌。

论文提出了一类持续学习域不变表征的方法。核心理念：因果关系在领域之间是不变的——导致疾病的生理机制在 A 医院和 B 医院里是一样的，但噪音（设备、光线、患者分布）会变化。如果持续学习过程中能学到并保持因果结构，模型就能在新领域中真正泛化。

方法上结合了回放训练和顺序不变性对齐：每次暴露在新领域时，不仅用回放缓冲区来防止遗忘旧任务，还用一个对齐目标来确保新学到的表征和旧领域的表征共享相同的不变结构。在整个学习序列中跟踪并巩固不变结构。

六个数据集——视觉、医学、制造业、生态学——的结果一致：提出的方法在未见过的目标域上持续优于现有 CL 基线。作为消融实验，简单地把现成的域不变表征学习方法串联到 CL 流程中效果有限——不变性必须在持续学习的循环中主动维护，不能事后叠加。

不清楚的地方：不变性对齐的强度调节——如果两个领域之间的因果结构不完全一致（比如临床指南变了），强制对齐反而有害。论文提到的"因果机制"是假设还是可以从数据中证实的？实现上的额外计算开销——每次对齐需要多少额外的训练时间？

参考文献

1. Janetzky, P., Schlagenhauf, T., & Feuerriegel, S. (2026). Continual Learning of Domain-Invariant Representations. arXiv:2605.15775 [cs.LG].

2. Schölkopf, B., et al. (2021). Towards Causal Representation Learning. Proceedings of the IEEE.

3. Kirkpatrick, J., et al. (2017). Overcoming Catastrophic Forgetting in Neural Networks. PNAS.