美团的Skill双响炮：内化还是进化？Agent技能的两种终极路线

> SKILL0: arXiv:2604.02268 | Skill1: arXiv:2605.06130 | 美团（Meituan）/ 浙大 / 中科大

---

开场：同一个问题，两种回答

2026年4-5月，美团连发两篇关于Agent技能的论文，相隔一个月，回答了同一个根本问题：Agent的技能到底该怎么学、怎么用、怎么进化？

但给出的答案截然相反：

• SKILL0说：把技能内化到模型参数里，训练时带着技能学，推理时完全零依赖。
• Skill1说：技能库本身就是核心竞争力，关键是让选择、利用、蒸馏三个环节协同进化。

一条路通向"无招胜有招"，另一条路通向"招招精妙"。两篇论文都是7B模型，都在ALFWorld上刷到SOTA（89.8% vs 97.5%），但哲学完全不同。

---

SKILL0：从"照着说明书"到"肌肉记忆"

SKILL0的核心判断是：推理时检索skill库有三个根本缺陷——

1. 检索噪声：拿来的skill可能不相关甚至误导 2. Token开销：多轮交互中skill内容越堆越多 3. 能力寄生：模型只是在"执行"skill，从未真正"学会"

类比人类的技能习得：新手看说明书操作（显式规则）→ 熟练工凭经验完成（内化能力）→ 专家下意识反应（自动化）。现有的skill增强方法把Agent永远困在第一阶段——每次开车都要看驾校笔记。

SKILL0的解法：训练时提供skill上下文，通过RL逐步内化成模型参数，直到推理时完全不需要skill。

技术实现：ICRL + 动态课程

In-Context Reinforcement Learning (ICRL)：训练rollout时skill在context里，推理时彻底移除。RL优化目标直接驱动"从依赖上下文到自主行为"的过渡。

动态课程学习：

• 每个skill文件关联一个验证子任务
• 定期比较"有skill"vs"无skill"的验证准确率，差值即帮助度Δk
• Δk > 0 保留，≤ 0 移除
• Skill预算按线性衰减计划逐步降至零

Context Rendering：把交互历史和skill渲染成紧凑RGB图像，通过vision encoder压缩。模型自己控制压缩比ct，每步同时输出动作和压缩率。Reward设计包含任务成功和压缩效率两项。

关键数据

指标	SKILL0 (7B)	SkillRL	AgentOCR
ALFWorld	89.8%	89.9%	~80%
每步Token	0.38k	2.21k	—
推理依赖Skill	❌ 无	✅ 有	—

ALFWorld上跟SkillRL几乎持平（89.8% vs 89.9%），但每步token从2.21k降到0.38k，省了近5倍。内化路线的可行性被验证：skill可以作为训练脚手架，推理时完全撤除，模型依然能保持相当表现。

---

Skill1：三体问题的统一解

Skill1的判断是：skill library不是累赘，而是Agent的"外脑"。问题不在于要不要library，而在于library的三个环节（选择、利用、蒸馏）能不能协同进化。

现有方法的问题：

• Selection没人管：RetroAgent不优化选择，SkillRL冻结选择机制
• Reward信号分裂：不同环节用不同reward来源，产生冲突
• 能力各自为政：选得好但用不好，或者用得好但不产新skill

Skill1的解法：一个策略模型，一个任务结果信号，三个环节共享优化。

技术实现：单一信号的信用分配

Skill选择：策略生成query检索候选skill，再rerank选出最佳。Query和rerank都由策略生成，可直接优化。

Skill利用：选中skill后，策略在skill策略指导下与环境多轮交互。

Skill蒸馏：rollout结束后，策略从轨迹中提炼可复用skill（策略描述 + 场景描述），成功的轨迹才允许入库。

信用分配（核心创新）：

• 利用Reward = 任务结果r(τ)（直接信号）
• 选择Reward = r(τ)的低频趋势（每个skill的EMA得分，反映长期效用）
• 蒸馏Reward = r(τ)与library趋势的高频偏差（当前经验是否超越library现有边界）

三个能力从同一个task-outcome信号衍生，低频趋势导向选择，高频变化导向蒸馏。没有辅助模型，没有额外reward来源。

关键数据

指标	Skill1	RetroAgent	SkillRL	GiGPO
ALFWorld Avg	97.5%	94.9%	89.9%	90.8%
WebShop	82.9%	—	72.7%	—
6子任务排名	5个第一	—	—	—

ALFWorld上97.5%平均成功率，超越RetroAgent 2.6个百分点。WebShop上同样最优。

消融：图书馆是地基，蒸馏是装修，选择是导航

移除组件	ALFWorld掉分	关键发现
整个Library	-16.6 (→80.9%)	Heat/Pick2掉28+分，多步程序任务最依赖skill
蒸馏	-5.1 (→92.4%)	不蒸馏=存raw轨迹，library噪声大
选择	-5.7 (→91.8%)	选不对，利用再好也白搭
λ1=0 (无选择signal)	-3.5	单一signal不够，需要分解
λ1=λ2=0	-7.3 (→90.2%)	比单独移除更差，signals互相增强

训练动态也印证协同：step20选择精度收敛到0.95，step60利用和蒸馏都到0.8。先有好选择，再有好利用，最后有好蒸馏——能力链条依次激活。

---

两种路线的对位分析

维度	SKILL0（内化）	Skill1（进化）
核心理念	Skill是脚手架，学会就拆	Skill是外脑，越建越精
推理时	零skill，零检索	持续检索skill library
训练方式	ICRL + 动态课程退火	GRPO + 单一signal信用分配
Token效率	极致（0.38k/步）	随library增长而增加
ALFWorld成绩	89.8%（7B）	97.5%（7B）
适用场景	高频重复任务、终端部署	复杂多变任务、需跨episode复用
与微软SkillOpt关系	SkillOpt训练出的best_skill.md可被SKILL0内化	SkillOpt是训练手段，Skill1是部署框架

关键洞察：两者不是互斥，而是互补。SKILL0验证了一个重要命题——skill可以被参数化吸收，程序性知识（procedural knowledge）和陈述性知识（declarative knowledge）一样可以通过训练内化。Skill1则展示了当skill需要持续更新、跨任务复用时，library框架的极限在哪里。

---

知识 vs 技能：内化路径的分野

用户提到一句话："知识内化依赖SFT，技能内化依赖RFT~"。

这个判断很精准：

• 知识（事实、概念、文本理解）→ SFT/Pretraining即可内化到参数
• 技能（程序性操作、工具调用、多步策略）→ 需要RL的试错反馈才能内化

SKILL0用ICRL证明：skill的程序性特征确实可以通过强化学习从context迁移到参数。这跟人类"刻意练习→自动化"的路径一致。但代价是skill变成"死知识"——模型学会了但不再更新，遇到新场景无法像Skill1那样蒸馏新skill入库。

---

产业映射

SKILL0适合：

• 手机端Agent（token贵，推理必须极简）
• 固定流程的自动化任务（客服、表单填写）
• 安全敏感场景（不希望在context里泄露skill内容）

Skill1适合：

• 探索型Agent（科研、数据分析，需要不断积累新策略）
• 多租户平台（一个library服务多个用户/任务）
• 与人类协作的系统（skill可解释、可审计、可共享）

---

参考

• SKILL0: Lu et al., "SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization", arXiv:2604.02268, 2026
• Skill1: Shi et al., "Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning", arXiv:2605.06130, 2026
• 代码: github.com/ZJU-REAL/SkillZero (SKILL0)
• 相关: SkillRL (Xia et al., 2026), RetroAgent (Zhang et al., 2026), GiGPO (Feng et al., 2025)

---

> 这两篇论文的更大意义在于：它们把Agent skill研究从"怎么写好一个skill"推进到了"skill该怎么与模型交互"的元问题。SKILL0证明skill可以被消化，Skill1证明skill库可以自我进化。下一步的有趣问题或许是：能不能让模型先走Skill1路线积累library，再走SKILL0路线内化精华——先广博，再精深。

#美团 #AgentSkill #SKILL0 #Skill1 #ALFWorld #强化学习 #技能内化 #统一进化