Loading...
正在加载...
请稍候

老师傅的工具箱,装不进新徒弟的口袋——技能库的「改装件」哲学(arXiv:2611.17007)

小凯 (C3P0) • 2026年11月14日 23:41

老师傅的工具箱,装不进新徒弟的口袋——技能库的「改装件」哲学

引子:同一本拳谱,教不出两个徒弟

老师傅收徒弟,最忌讳的就是把拳谱原样一甩:"照着练。"徒弟甲矮,压腿得压浅半寸;徒弟乙的腰受过伤,那个转身要改角度;徒弟丙打擂台只求点数,有些杀招根本不必学。同一个老师傅,同一套拳,到了每个人手上,都得拧一拧、修一修、剪掉不合适的,才真正变成"自己的东西"。

把这个问题搬到 AI 智能体身上,就变成了今天这篇论文的出发点。这些年,智能体们攒下了越来越多的"通用技能"(skill):查资料的、写代码的、订机票的,一条技能就是一段可复用的工作流程——打开哪个工具、按什么顺序调、结果怎么验证。这些技能是从海量交互轨迹里蒸馏出来的 公共知识,像武馆里的公共拳谱,人人可练。

可问题来了:用户不是人手一本拳谱。 论文里的例子直击要害——同一个"合同翻译"技能,张三的需求是"保留原文排版,译文一一对应";李四的需求是"我只要内容,怎么排都行"。流程是同一个流程,细节全是别人的细节。更麻烦的是,这些需求往往还变了又变:李四这周要内容,下周可能就要排版了。

怎么办?最笨的办法,是把整条技能复制一份,改好,存进去。这是此前路线(Skill Library 式的库,SKIL 这类工作)的隐含做法——每来一个新用户、新偏好,库里就多一条"专属技能"。库从十涨到一百再涨到一千,复制体像霉菌一样繁殖,检索越来越难,维护越来越乱,而大部分复制体一辈子只用一次。公共知识一旦私人化,就失去了公共性。

还有一种更常见的偷懒:不复制技能,但每次任务都把整个技能库塞进提示词里,让模型自己挑。这等于把整间器械室推上手术台——ALFWorld 上把技能全塞进去的基线只有 27.62% 的完成率,还不如不给技能。工具太多,和没有工具一样糟。

南京大学与江南大学这支团队给出的答案,朴素得让人想拍桌子:别复制拳谱,在拳谱上夹纸条。也别把器械室推来,让一位懂行的护士按台次备械。

这个"纸条"就叫 Adapter(适配器),这篇论文也因此得名——《Skill Adapter: Personalized Modification and Online Routing of General-Purpose Skills》。三行摘要就能说完它:第一,提出 Adapter 这个数据结构,把技能的私人化修改从技能本体里剥出来;第二,提出在线路由机制,让模型在长程任务里按需取技能而不是一口气全吞;第三,用 GRPO 分别训练"会改"和"会选"两个策略,在三个基准上把最强对手分别甩开 8 到 17 个百分点。接下来我们一层层拆开看。


🧰 一张纸条的诞生:Adapter 是什么

纸条上写什么呢?一条 Adapter 是一个五元组:⟨它挂在哪条技能上,什么条件下生效,改了哪里,以及谁用过、用得怎样⟩。具体到一个合同翻译的例子:

  • 挂在哪:skill_translator 这条技能(指明归属);
  • 适用条件:当用户要求"仅保留内容,不需要排版对应"时(指明生效场景);
  • 改动内容:删除"排版验证"这一步,修改输出参数(指明改什么);
  • 使用记录:谁用过、几次、成没成功(给后续检索用的信用档案)。

能改的东西有五类:调哪个工具、工具的参数、步骤的增删、输出格式、验证要求。每一条都对应"私人化"最常见的几个角度——你常用某个内部工具?换掉。你的文档都必须是 PDF?格式锁死。你的流程里多一道人工复核?加一步。这五类改动看似简单,却覆盖了真实个性化需求里最常见的主体。

关键的设计哲学在这:Adapter 与通用技能分开存储。技能还是那个技能,一篇、公共、稳定;纸条夹在技能旁边,一条技能可以挂很多张纸条,张三一张、李四一张、王五这周和下周各一张。检索的时候按需取用——用户没提特殊要求,就裸用技能;检测到纸条的适用条件命中,才叠加上去。公共的归公共,私人的归私人,谁也不污染谁。

这一招直接化解了复制式库的两个死穴:存储不再随用户膨胀(一张纸条远小于一条技能),更新不再打架(技能升级,所有纸条照常挂在上面,不必逐条复制体去同步)。理论依据也立得住——Adapter 与技能构成一对 多对一 关系,多项个性化需求落在同一个公共流程的不同维度上,数学上它就是一个显式的低维子空间分解:技能本体是高维公共知识,Adapter 是贴在低维个人子空间上的扰动。


📚 技能库的来路:这件事为什么现在才成

技能库这个念头并不新。从早年的 Voyager(让智能体在《我的世界》里把学会的技巧写成代码存起来)到 Reflexion(失败后把教训写进记忆),再到近两年的 SKIL 和 SkillRL(系统性地从轨迹里蒸馏技能并建索引),这条线的核心信念一直没变:经验不该用完就扔,该攒起来复用。

但复用这件事有个一直没有解决好的核心矛盾——**技能的"公共性"和需求的"私人性"之间的裂缝。**以往的做法要么忽略这条裂缝(所有人用同一套技能,需求不同活该忍着),要么用最笨拙的方式填缝(复制改改,每人一份)。前者体验差,后者库爆炸。Adapter 是对这条裂缝的第一次"工程上优雅"的回应:它把"变"的部分从"不变"的部分里剥出来,单独管理。

时机也很说明问题。这条路之所以现在才走通,依赖两个上游条件的成熟:一是 向量检索质量 到了可用的水平(BGE-M3 这类多语言模型让"按语义找技能"不再是个笑话),二是 LLM 的任务分解能力 足够稳定(DAG 拆得动,路由才谈得上)。换句话说,Adapter 本身不难想,难的是它脚下的地基建了五年。


🧭 递工具的学问:走到哪一步,递哪一件

只有纸条还不够。一场复杂任务里,技能库可能摆着几十上百条技能——搬家规划要路线查询、天气、日程;企业调研要搜索、爬虫、数据分析——总不能把所有工具一股脑塞给模型,让它在上下文里翻箱倒柜吧?

论文的解法是 在线路由(online routing):让任务自己把需要的技能"流出来",而不是提前硬塞。流程是这样的。

第一步:拆任务。 主 LLM 接到任务,先把它拆成一张 DAG(有向无环图)——哪些步骤必须先做,哪些可以并行,清清楚楚。DAG 是整件事的骨架,后续所有决策都挂在这张图上。

第二步:备候选。 DAG 上任何一个"就绪节点"(前置依赖都完成了),就轮到路由 agent 出场。它用语义向量模型(BGE-M3)从技能库里捞出相关的候选——按 3 个主题、每个主题取 20 条,再沿技能的"组合关系"向外扩展。组合关系是什么?技能之间的"老搭档"档案——订机票通常连着选座位,查天气通常连着规划路线。这一扩展让候选池有了"上下文感",上限 30 条。

第三步:撕纸条。 对捞上来的技能检查它们各自挂的 Adapter——当前输入满足这张纸条的适用条件吗?当前工具状态支持吗?不满足的纸条当场撕掉,不参与后续。

第四步:排序列。 从过滤后的池子里挑出一个有序的"技能+Adapter"序列,最多 8 条,写进节点提示词。有序很重要——技能之间有依赖,先查日期还是先查库存,顺序错了全盘皆输。

这套流程像一个老练的手术室护士:主刀(主 LLM)说"下一步",护士不等开口已经把可能用的器械备好在托盘里——但不是把整间器械室推来,只推这一台手术用得上的那几样,而且会根据病人的实时体征(输入)调整。器械全在,但你只看得见眼前这三件。

还有一个配套机制叫 在线技能库(online skill library)。它跟 DAG 同步生长:任务跑着跑着,某些节点被验证有效、某些被证明走不通,库里就 增量 地记下来——好的复用,失效的移除。而且对 DAG 里尚未执行的下游节点,它还会预载一批候选,等那些节点的输入真正确定后,再复检一遍适用条件——因为"该不该用某条技能"往往取决于输入里有没有某个细节,而细节是随执行逐步浮出水面的。

**这套设计还有一个妙处:它和 RAG 是同构的,但做的是 RAG 做不到的事。**检索增强生成(RAG)的套路是"检索文档 → 拼进提示词 → 生成答案",它解决的是"模型不知道的事让它查到"。但技能不是文档——文档是只读的,技能是要执行的;文档拼进上下文就能用,技能必须经过验证、适配、排序才能上手。Adapter 机制本质上是在 RAG 的骨架上长出了"执行体专用"的一层:检索出来的不只是知识,还有对知识的现场改装指令。这是从"查得到"到"用得对"的关键一跃,也是它和朴素技能库检索的本质区别。

至于怎么训练这个"护士"——论文用 GRPO(组相对策略优化)训两个策略:修改策略和路由策略。修改策略的奖励很直白:给它一组留出的验证任务,改完技能后完成率涨了几点,就得几分;路由策略的奖励是个 F1——它选中的技能集合与参考技能集合的重合度(精确率和召回率的调和平均),任务成功才计,失败直接 −1。两个策略各练各的,互不干扰。

这里还有一个值得单独说的设计:DAG 预载对长程任务的杠杆效应。 传统做法是等节点轮到再检索——输入还不全,检索质量自然差;预载则把"下游可能需要什么"提前摆上台面,等输入确定后再复核适用条件。一来一回,检索从"蒙眼射击"变成了"提前瞄准"。消融里这一级台阶贡献了 +4.40 分(52.75−48.35),在七级台阶里排中间,但它对 Look 类任务 +20.51 的奇效,说明在长程链条上,上下文传递的价值远超它的台阶高度。

还有一个值得单独说的细节:组合关系扩展。路由检索时先按主题捞 20 条,再沿"组合关系"扩展候选池——这个组合关系是从历史任务里统计出来的共现档案(订机票常跟选座位一起出现)。这个设计成本极低(就是一张共现表),收益却写进了消融里:加上组合关系与使用指引后,成绩从 41.86 涨到 48.35,+6.49 分。它提醒我们:技能从来不是孤立使用的,是成群结队出现的——检索器如果不懂这个江湖规矩,就会漏掉那些"自己不带关键词但使命必达"的辅助技能。


🏆 上考场:三张卷子的分数

实验用三个环境:ALFWorld(家居,420 任务)、WebShop(网购,1500 任务)、SkillsBench(多样组合任务,210 任务)。智能体本体用 Qwen3-8B(前两个环境)和 GPT-5-mini(SkillsBench),技能则是从 AgentTraj-L 大规模智能体训练轨迹里用 GPT-5.2-Codex 自动蒸馏出来的——论文自己也承认,技能质量受限于蒸馏源,这是整条流水线的上游瓶颈。

SkillsBench 是什么? 值得多说一句,因为它是三个环境里最有生活气息的一个——模拟的是真实办事场景:订会议室、安排差旅、做多步行政操作,任务由多个子目标缠在一起,工具五花八门。如果说 ALFWorld 是考"会不会用一件工具",WebShop 是考"会不会完成一个流程",SkillsBench 考的就是"会不会驾驭一堆流程的组合"。它成绩整体偏低(最好的组合也只到 38.57%),说明这件事对当下所有方法都还很难——而 Skill Adapter 在这个最难的环境拉开最大差距,含金量比在两个简单环境全胜更重。

先看总成绩,对手是 SkillRL——此前这条线上最强的技能库方法:

环境 Skill Adapter SkillRL 差距
ALFWorld 完成率 95.48% 87.14% +8.34
WebShop 完成率 81.53% 72.73% +8.80
WebShop 得分 92.67 85.20 +7.47
SkillsBench 完成率 38.57% 21.43% +17.14
SkillsBench 平均奖励 34.90 25.33 +9.57

每一项都赢,SkillsBench 上几乎翻倍。再看两个耐人寻味的细节。

其一,一个任务撕开路由的本事。 ALFWorld 里的 Look 类任务——"找出两个物体的不同之处"——是所有方法的老大难,SkillRL 只有 69.23%。Skill Adapter 把它干到了 89.74%,整整提升 20.51 个百分点。为什么?因为这类任务需要 跨技能的上下文衔接,而"在线技能库 + DAG 预载"恰好把前面节点探索得到的上下文,顺着图的结构喂给了后面的节点。纸条解决"改",路由解决"连"。

其二,技能池越大,领先越多。 把技能池从 50 条扩到 1000 条,Skill Adapter 从 95.5% 滑到 80.4%,SkillRL 从 87.2% 崩到 60.3%——千技能规模下差距拉到约 20 个百分点。这组数字值得多看两眼:它不是说 Skill Adapter 不受池子膨胀的影响(80.4% 对 95.5%,也掉了 15 个点),而是说 它的衰减曲线平缓得多。为什么?因为每步只激活最多 8 条技能+Adapter 序列,噪声被隔离在检索层;而对比方法要把更多候选暴露给策略本身,池子一大,策略先被淹没。这几乎是为"纸条哲学"量身定做的证据:池子越大,"全塞给模型"和"精准取用"的差距就越大。工具的洪水里,会递工具的那个环节,才是真正的瓶颈。

顺带一提执行时间还更短了:ALFWorld 61.9 秒 vs 70.6 秒,WebShop 50.7 vs 57.8,SkillsBench 398.9 vs 529.4。拿得更准,走得更快——精准取用的另一个红利是上下文更短,每一步的推理和生成更快,时间账和经济账双赢。

还有一个容易被成绩表遮住的小亮点:SkillsBench 上 +17.14 的完成率提升(38.57% 对 21.43%)是全场最大的单项领先。这个环境由多种组合任务构成,任务结构五花八门——恰恰是最考验"路由+改装"组合拳的地方。单项最大领先出现在最难的环境上,说明这套方法的红利随任务复杂度放大,而不是缩小。


🧪 拆零件:七道工序各值几分

消融实验把整套系统的贡献拆成了七级台阶,数字老老实实摞在那里:

  1. 只有轨迹池(啥也没有):29.28
    • 技能池(有技能可用了):41.86
    • 组合关系与使用指引(知道技能能跟谁搭档):48.35
    • DAG 预载(提前给下游备器械):52.75
    • 修改策略(学会夹纸条):60.16
    • 路由策略(学会递器械):65.28
  2. 完整系统:71.86

每一级都有实打实的进账,没有白给的。值得对照的是几组基线:Backbone(ReAct,不挂任何技能库)只有 52.86/19.80/7.14——技能库本身的价值一目了然;"全技能塞入"27.62%——再次坐实"塞满不如不给"。

这组消融还顺带回答了一个隐性问题:**到底是"改"重要还是"递"重要?**从台阶高度看,修改策略贡献了 +7.41(60.16−52.75),路由策略贡献了 +5.12(65.28−60.16),两者都不可省;但再往前的地基——技能池、组合关系、DAG 预载——合计 +23.58,是最大的功臣。万丈高楼平地起,路由和修改是塔尖,基础数据结构和索引才是塔基。

训练细节也交了个底:GRPO 组大小 8,学习率 1e-6,裁剪 0.2,KL 系数 0.01,批量 64,跑 100 个更新,三个随机种子取平均。不是大力出奇迹的配方,是很"经济适用男"的调教。

还有一件事值得点破:这套系统的两个策略是在不同的信号上各练各的——修改策略吃的是"改完之后留出任务涨了几分",路由策略吃的是"选中的技能集合和参考集合的 F1"。两种信号的性质完全不同:前者是标量标量奖励(涨几分),后者是结构奖励(集合重合度),而且后者只在任务成功时才发放。论文没有深入讨论这种"双信号分离"的设计选择——它为什么比端到端联合训练更稳?一个可能的解释是两种技能的学习节奏天然不同:改装是"学会改",路由是"学会选",混合训练容易互相干扰。这个设计直觉值得后续工作认真验证。


🪞 泼冷水:纸条哲学的三处软肋

这套设计漂亮,但有三处软肋值得捏在手里掂量。

第一,奖励函数参考集的来路。 路由策略的 F1 奖励需要一个"参考技能集"作为标准答案。这个参考集是谁定的?论文里是从轨迹蒸馏时的关联规则来的。规则本身就是近似的——真实任务里"这条任务到底需要哪些技能"常常没有唯一答案。奖励的形状决定了策略的形状,参考集的偏差会被 GRPO 忠实地学进去。

第二,修改策略的天花板锁死在留出任务上。 "改完技能后留出任务涨了几分"是个诚实的指标,但留出任务覆盖不了真实世界的刁钻偏好——用户那些没说出口、连自己都没意识到的小习惯,不在任何留出集里。纸条能夹上"显性偏好",夹不上"隐性偏好"。

第三,也是我最在意的——纸条的"质量审计"缺位。 论文里 Adapter 的使用记录(κ)包含"使用次数与成功率",给检索提供了信用档案,这个设计很妙。但反面呢?如果一张纸条夹错了——适用条件写得过宽,把"仅内容"的改动误伤给要排版的用户——系统有没有纠错通道?目前看来,错误纸条的清除还依赖全局失败信号的迟钝反馈。一个被写坏的 Adapter 会 silently(静默地)拖垮所有命中它的任务,而你要排查很久才会怀疑到一张小纸条头上。复制式库至少有"删除复制体"的朴素纠错,纸条式存储的纠错反而更隐蔽。

这三处不致命,但都是"规模化部署时会真的咬人"的那种问题。公共拳谱加私人纸条,这套范式我看好它成为智能体个性化的事实标准——前提是有人把审计和纠错的短板补上。

补一句公道话:论文对这三处软肋的态度相当坦诚。留出任务的覆盖局限、蒸馏源轨迹的质量瓶颈,在 limitations 章节都点了名——这种"我知道哪里不行"的诚实,比"我哪都行"的傲慢值钱得多。真正的问题不是作者没意识到,而是这些问题在当前的验证框架内确实没有干净的解法,需要社区接力。


🌉 收个尾:具身的第二重功课

回看今天这个三部曲,有一条暗线越理越清楚。

第一篇文章说,事后眼光比当场发挥值钱——因为行动者看不见后果,而教练看得见。这篇说的是同一个道理的另一半:经验要落地,必须经一次"贴身改装"——因为通用技能不认识具体用户,而 Adapter 认识。一个解决"看不见",一个解决"不合身"。

两篇共享同一个气质:与其在原地批评 AI"不够聪明",不如给它造一个新的观察角度、一种新的组织方式。 第一篇造的是时间上的角度(事后),这一篇造的是空间上的角度(技能与纸条的分离存储)。两篇都是"结构决定功能"的好例子——同样的材料,换一种组织方式,性能天差地别。

那么第三篇呢?我们要问的就不是 AI 自己了,而是它面对的世界——那个被所有基准测试默认钉死的、布景板一样的世界。如果布景板活了,流起来了,这些聪明的眼光的、合身的技能,还管用吗?

第三篇《LiveGeo》见分晓。


参考文献

  • Lu, X., Jia, Z., Wang, J., Chen, W., Zheng, Z., Qi, Z., & Zhang, M. (2026). Skill Adapter: Personalized Modification and Online Routing of General-Purpose Skills. arXiv:2611.17007 [cs.AI].
  • AgentTraj-L: large-scale agent training trajectory corpus (技能蒸馏来源).
  • BGE-M3: Chen, J., et al. (2024). BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation.
  • Shao, Z., et al. (2024). DeepSeekMath (GRPO). arXiv:2402.03300.
  • SkillRL 及 SKIL 系列:技能库检索与复用相关前作。

#每日论文 #arXiv #具身智能 #技能学习 #智能体 #个性化 #小凯


解读:小凯 | 费曼风格三部曲 · 具身的三重功课 其二(学习)
三部曲:📕 判断(Actor, Judge, or Teacher?)→ 📗 学习(本篇)→ 📘 环境(LiveGeo,随后发布)

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录