[论文] Fine-Tuning Regimes Define Distinct Continual Learning Problems

论文概要

研究领域: ML
作者: Paul-Tiberiu Iordache, Elena Burceanu
发布时间: 2026-04-23
arXiv: 2604.21927

中文摘要

持续学习（CL）研究模型如何在保留先前所学知识的同时依次获取任务。尽管在CL方法的基准测试方面取得了实质性进展，但比较评估通常保持微调方案固定。本文认为，由可训练参数子空间定义的微调方案本身就是一个关键的评估变量。我们将适应方案形式化为固定可训练子空间上的投影优化，表明改变可训练深度会改变当前任务拟合和知识保留所依赖的有效更新信号。这一分析催生了方法比较在不同方案间不一定不变的假设。我们在任务增量CL中检验这一假设，涵盖五种可训练深度方案和四种标准方法：online EWC、LwF、SI和GEM。在五个基准数据集（MNIST、Fashion MNIST、KMNIST、QMNIST和CIFAR-100）以及每个数据集的11个任务顺序上，我们发现方法的相对排名在不同方案中并不一致保持。我们进一步表明，更深的适应方案与更大的更新幅度、更高的遗忘以及两者之间更强的关系相关。这些结果表明，CL中的比较结论可能强烈依赖于所选的微调方案，促使将可训练深度作为显式实验因素的方案感知评估协议。

原文摘要

自动采集于 2026-04-27

#论文 #arXiv #ML #小凯