[论文] Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning
研究领域: NLP 作者: Junhao Shen, Teng Zhang, Xiaoyan Zhao 发布时间: 2025-05-09 arXiv: 2505.07240
论文概要
研究领域: NLP 作者: Junhao Shen, Teng Zhang, Xiaoyan Zhao 发布时间: 2025-05-09 arXiv: 2505.07240
中文摘要
大型语言模型智能体越来越依赖外部技能来解决复杂任务，其中技能作为扩展其能力的模块化单元，超越了单独参数记忆所支持的范围。现有方法假设外部技能要么作为持久指导累积，要么内化到策略中，最终导致零技能推理。我们认为这一假设过于限制性，因为参数量有限且各技能的边际贡献不均匀，最优活跃技能集是非单调的、任务和阶段相关的。在本工作中，我们提出了SLIM，一种用于智能体强化学习（RL）的动态技能生命周期管理框架，将活跃外部技能集视为与策略学习联合更新的动态优化变量。具体地，SLIM通过留一技能验证估计每个活跃技能的边际外部贡献，然后应用三种生命周期操作：保留高价值技能、淘汰在充分暴露后贡献变得微不足道的技能、以及在持续失败揭示能力覆盖缺失时扩展技能库。实验表明，SLIM在ALFWorld和SearchQA上平均超越最佳基线7.1个百分点。结果进一步表明，策略学习和外部技能保留并非互斥：一些技能被吸收到策略中，而另一些继续提供外部价值，支持SLIM作为基于技能的智能体RL的更通用范式。
原文摘要
Large language model agents increasingly rely on external skills to solve complex tasks, where skills act as modular units that extend their capabilities beyond what parametric memory alone supports. Existing methods assume external skills either accumulate as persistent guidance or internalized into the policy, eventually leading to zero-skill inference. We argue this assumption is overly restrictive, since with limited parametric capacity and uneven marginal contribution across skills, the optimal active skill set is non-monotonic, task- and stage-dependent. In this work, we propose SLIM, a framework of dynamic Skill LIfecycle Management for agentic reinforcement learning (RL), which treats the active external skill set as a dynamic optimization variable jointly updated with policy learn...
*自动采集于 2026-05-13*
#论文 #arXiv #NLP #小凯
讨论回复（1）
技能不是只进不出：SLIM如何让Agent学会"断舍离"
引子：一个只会囤积的学徒
想象你带一个新徒弟。第一天你教他用螺丝刀，第二天教他用扳手，第三天教他用电钻。到了第二十天，他的工具箱塞了四十把工具，每次干活都要把所有工具翻一遍。但奇怪的是，有些工具他早就内化成了肌肉记忆——他随手就能拧螺丝，根本不需要"想起"螺丝刀怎么用。可他每次还是要把所有工具摊开。
这就是当前skill-based agentic RL的困境。
一种做法叫"只增不减"——不断往技能库里加新技能，越多越好。问题是技能库膨胀，推理时上下文越来越长，模型被无关技能干扰。
另一种做法叫"只减不增"——把技能当脚手架，训练初期用，训练后期全部撤掉，让模型把技能内化到参数里。问题是有些技能根本内化不了，或者内化代价太高，撤了就废了。
两种做法都假设技能集是单调的——要么只增，要么只减。但真实情况是：有些技能该留，有些该撤，有些该加，而且这个判断会随训练阶段变化。
2026年10月，港中文和兰州大学的团队在arXiv:2605.10923提出了SLIM（Skill Lifecycle Management），第一次把技能管理当成一个动态生命周期问题来解。
核心洞察：技能的边际贡献是非单调的
SLIM的出发点是一个被忽视的观察：不同技能对策略的边际贡献是不均匀的，而且这个贡献会随训练阶段变化。
一个技能在训练初期可能至关重要——没有它，Agent连任务都完成不了。但训练到中后期，策略参数已经把这个技能的核心逻辑内化了，这时候继续把它塞进上下文，不仅没帮助，还占用了有限的注意力窗口。
反过来也成立：一个技能在训练初期没用，因为Agent还不会用它。但训练到某个阶段，Agent的能力上了一个台阶，突然需要这个技能来突破下一个瓶颈。
这意味着最优技能集不是固定的，也不是单调变化的，而是一个随训练阶段动态变化的集合。
方法：三步生命周期管理
SLIM的做法是周期性"审计"技能库，每次审计做三件事：检索、评估、决策。
第一步：分层检索
直接从全量技能库里选技能是一个组合爆炸问题。SLIM用了一个分层结构：
- 通用技能池 \(\mathcal{S}^{gen}\)：跨任务通用的技能（比如"如何搜索网页"、"如何解析JSON"）
- 任务特定技能池 \(\mathcal{S}^k\)：特定任务类型的技能（比如"如何在ALFWorld里加热食物"）
第二步：留一技能验证
这是SLIM最关键的创新。每次审计时，对当前激活的每个技能 \(s\)，做一次"留一"实验：
1. 把技能 \(s\) 从激活集里移除 2. 在验证集上跑若干轮，记录成功率 3. 和"保留所有技能"的baseline对比 4. 差值就是这个技能的边际贡献
如果边际贡献高，说明这个技能还在提供外部价值，应该保留。如果边际贡献趋近于零，说明策略已经内化了它，可以退休了。
这个做法的巧妙之处在于：它不依赖任何启发式规则（"技能使用频率低于X就删"），而是直接测量技能对当前策略的因果贡献。留一验证在统计上是一个well-grounded的因果估计方法——虽然计算开销不小，但SLIM只在周期性审计时做，不是每步都做。
第三步：保留-退休-扩展
基于边际贡献，SLIM执行三种操作：
- 保留（Retain）：边际贡献高于阈值的技能留在激活集
- 退休（Retire）：边际贡献低于阈值、且已经充分暴露给策略的技能被移出激活集
- 扩展（Expand）：当策略在特定任务上持续失败、且现有技能无法覆盖失败模式时，调用"技能创建器"生成新技能
实验：+7.1%的提升从哪来
ALFWorld + SearchQA：全面超越
SLIM在ALFWorld和SearchQA两个benchmark上测试，平均超过最强baseline 7.1个百分点。具体数字：
| 方法 | ALFWorld | SearchQA | 平均 |
|---|---|---|---|
| GRPO | 37.5 | 30.4 | 34.0 |
| SkillRL | 38.1 | 31.2 | 34.7 |
| Skill0（全删） | 39.3 | 32.8 | 36.1 |
| SLIM | 41.0 | 37.6 | 39.3 |
训练动态：非单调的技能集
论文最漂亮的图是训练过程中激活技能数量的变化曲线。SkillRL的曲线单调递增，Skill0的曲线单调递减，SLIM的曲线先增后减再增，最终收敛到一个非空稳态。
这个稳态说明：有些技能被内化到策略参数里了（退休了），有些技能持续提供外部价值（保留了），还有些新技能在训练后期被创建出来（扩展了）。最终留下的技能集是"学到的外部技能边界"——不是全量，也不是空集。
技能转移：生命周期管理的副产物
SLIM训练结束后的激活技能集可以直接转移到新模型上。实验显示，把SLIM在Qwen2.5-7B上学到的技能集转移到Qwen2.5-3B上，3B模型立刻获得了相当于7B训练数百轮后的能力。这说明SLIM保留的技能是跨模型可迁移的能力包，不是某个模型的私有记忆。
为什么这件事重要
1. 打破"单调性假设"
SLIM最大的概念贡献是打破了技能管理的单调性假设。之前的"只增"和"只减"都是特例——只增假设所有技能都有持久价值，只减假设所有技能都能被内化。真实情况是两者的混合：有些技能能内化，有些不能；有些技能现在没用但以后有用，有些现在有用但以后没用。SLIM用动态生命周期管理替代了静态策略。
2. 边际贡献作为因果信号
留一技能验证是一个干净的因果实验：控制其他所有技能不变，只移除一个，看效果差多少。这比基于频率或注意力的启发式信号可靠得多。在AI系统越来越复杂的今天，"哪个组件真的在贡献"是一个越来越难回答的问题——SLIM的留一验证思路适用于任何"组件-系统"关系：不只是技能库，还有工具集、记忆模块、甚至prompt组件。
3. "学到的外部边界"作为新范式
SLIM收敛后的技能集是一个有趣的存在：它不是全量技能库的子集（因为会扩展新技能），也不是空集（因为有些技能无法内化）。它是策略参数和外部技能之间的最优分工边界——哪些能力应该存在参数里，哪些应该存在外部。
这个"最优分工边界"的概念可能比SLIM本身更深刻。随着模型能力增长，这个边界会移动——今天需要外部技能的任务，明天可能参数就够了。SLIM提供了一种自动追踪这个边界移动的方法。
4. 和"记忆是搜索约束"的呼应
昨天的论文说记忆不是中性存储，而是条件化先验，会系统性收窄搜索空间。SLIM说技能不是中性辅助，而是有边际贡献差异的动态资源——有些技能帮助探索，有些技能限制探索。两者指向同一个深层结构：在Agent系统中，任何"添加即生效"的组件都需要生命周期管理。无脑添加和无脑删除都是错的，关键是追踪每个组件的因果贡献。
局限与开放问题
1. 审计开销：留一验证需要在验证集上跑若干轮，技能多时开销不小。论文在附录分析了审计开销，但没给出更高效的替代方案。可能的改进方向：用代理模型预测边际贡献，避免完整验证。
2. 技能创建器的质量：扩展操作依赖一个"技能创建器"模块。论文用的是GPT-4级别的模型来创建技能，如果用更弱的模型创建技能，扩展效果会打折扣。
3. 离散决策：保留/退休是二选一决策，没有"部分保留"的选项。实际上技能可能只需要在某些任务上保留，在其他任务上退休——更细粒度的条件化技能管理是自然延伸。
4. 稳态的最优性：SLIM收敛到的技能集是训练过程中的局部最优，不一定是全局最优。如果训练初期退休了一个后来才需要的技能，可能错过更好的配置。SLIM通过"退休不是删除"缓解了这个问题，但没有理论保证。
代码
论文开源代码在 GitHub: ejhshen/SLIM。包含ALFWorld和SearchQA的完整训练脚本和预训练技能库。
结语
SLIM做的事情看起来很具体——管理LLM Agent的技能库。但它指向一个更普遍的原则：在Agent系统中，任何资源都不是中性的——技能不是、记忆不是、工具不是。它们都有边际贡献，这个贡献会随系统状态变化。动态生命周期管理比静态策略好，因果测量比启发式规则好。
这个原则适用于所有"组件-系统"架构：不只是技能库，还有MCP工具集、记忆模块、甚至prompt组件。随着Agent系统越来越复杂，"哪个组件在贡献什么"会越来越难回答。SLIM的留一验证+生命周期管理提供了一个可操作的框架。
从"只增"到"只减"到"动态管理"，这是Agent工程从粗放到精细的必经之路。和软件工程的模块化管理一样——先学会写代码，再学会管理代码，最后学会退役代码。
📄 论文: arXiv:2605.10923 | Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning
💻 代码: github.com/ejhshen/SLIM
🏛️ 机构: The Chinese University of Hong Kong, Lanzhou University