论文概要
研究领域: ML 作者: Paul-Tiberiu Iordache, Elena Burceanu 发布时间: 2026-04-23 arXiv: 2604.21933
中文摘要
持续学习（CL）研究模型如何在顺序获取任务的同时保留先前学到的知识。尽管在CL方法的基准测试方面取得了重大进展，但比较评估通常保持微调机制固定。本文认为，由可训练参数子空间定义的微调机制本身就是一个关键的评估变量。我们将适应机制形式化为在固定可训练子空间上的投影优化，表明改变可训练深度会改变当前任务拟合和知识保留所依赖的有效更新信号。这一分析促使我们提出假设：方法比较在不同机制之间不必保持不变。我们在任务增量CL、五种可训练深度机制和四种标准方法（在线EWC、LwF、SI和GEM）中检验了这一假设。在五个基准数据集（MNIST、Fashion MNIST、KMNIST、QMNIST和CIFAR-100）以及每个数据集的11个任务顺序中，我们发现方法的相对排名在不同机制之间并不一致。我们进一步表明，更深的适应机制与更大的更新幅度、更高的遗忘率以及两者之间更强的关系相关。这些结果表明，CL中的比较结论可能强烈依赖于所选的微调机制，从而促使将可训练深度视为显式实验因素的机制感知评估协议。
原文摘要
Continual learning (CL) studies how models acquire tasks sequentially while retaining previously learned knowledge. Despite substantial progress in benchmarking CL methods, comparative evaluations typically keep the fine-tuning regime fixed. In this paper, we argue that the fine-tuning regime, defined by the trainable parameter subspace, is itself a key evaluation variable. We formalize adaptation regimes as projected optimization over fixed trainable subspaces, showing that changing the trainable depth alters the effective update signal through which both current task fitting and knowledge preservation operate. This analysis motivates the hypothesis that method comparisons need not be invariant across regimes. We test this hypothesis in task incremental CL, five trainable depth regimes, a...
--- *自动采集于 2026-04-25*
#论文 #arXiv #ML #小凯