SkillOpt：给Agent技能装上"深度学习优化器"，52个评估单元全满贯

论文：SkillOpt: Executive Strategy for Self-Evolving Agent Skills
arXiv: 2605.23904 | 项目：https://github.com/microsoft/SkillOpt
团队：Microsoft Research
日期：2026-05

核心问题：为什么Agent技能进化不了？

现有AI Agent的技能获取方法，本质上停留在石器时代：

• 手工编写：人类专家写自然语言指令，脆弱（brittle），场景一变就崩溃
• 单轮生成：LLM一次性产出技能，没有反馈回路，质量天花板被初始提示锁死
• 松散自修订：自我反思循环，听起来很高级，但行为根本不像深度学习优化器——无法稳定、可靠、可复现地超越起点

论文一针见血：

"技能应该被训练成参数冻结Agent的外部状态，用同样的纪律性让文本空间的优化可复现。"

这不是比喻，是严格的工程类比。SkillOpt 把"技能文档"当成神经网络的权重来训练，给文本空间装上了优化器。

核心洞察：文本空间需要"学习率"和"梯度门控"

传统深度学习优化的四大要素：

这个类比不是修辞，而是完整实现了的工程系统。SkillOpt 证明了：文本技能可以像权重一样被系统优化，且部署时零额外成本。

技术架构：五阶段闭环

阶段一：冻结Agent + 当前技能 → 执行批次

• 目标模型（学生）完全冻结，不更新任何参数
• 当前技能文档注入 prompt，指导Agent行为
• 执行一批任务，收集轨迹和评分
• 结果：成功/失败模式、哪些规则生效、哪些失效

阶段二：优化器模型 → 结构化编辑

核心设计：优化器与目标模型解耦

• 优化器模型（默认 GPT-5.5）作为"教师"，独立运行
• 仅离线训练时调用，部署推理零额外成本
• 将评分轨迹转化为有界的编辑操作：ADD / DEL / REP

编辑模式：

• Patch模式（默认）：局部追加、插入、替换、删除——精细控制，保持连续性
• Rewrite模式：基于反思建议完全重写技能——大幅重构时启用

受保护字段（Slow-update Field）：

• 每个epoch的元更新写入此区域
• 步骤级编辑无法覆盖，实现"快变"与"慢变"分离

阶段三：编辑合并、排序、裁剪 → 候选技能

• 文本学习率预算 \(L_t\) 控制每步允许的最大编辑数
• 默认 \(L_t = 4\)，余弦衰减至下限 \(L_t = 2\)
• 调度策略：常数、线性衰减、余弦衰减（默认）、自适应

关键发现：编辑预算必须存在。"无学习率"（无界重写）显著更差：

• SearchQA：84.6 vs 86.5-87.0（-1.9至-2.4）
• SpreadsheetBench：75.7 vs 77.5-78.2（-1.8至-2.5）

阶段四：留出验证门控 → 接受/拒绝

严格接受标准：

候选被接受当且仅当：
SelectionScore(candidate) > CurrentSelectionScore（严格大于，平局拒绝）

• 数据分割：train : selection : test = 2 : 1 : 7
• selection 仅用于门控，报告分数在完全不相交的 test 上
• 每个步骤记录 edit_apply_report.json，追踪每个编辑的接受/跳过状态

双重作用：

1. 防止有害提案累积（过拟合局部失败）
2. 被拒绝的编辑成为有意义的负反馈

阶段五：慢更新与元整合

双层更新架构：

慢更新采样（epoch结束）：

• 用前epoch技能和当前技能分别执行相同训练项
• 分组：改进、退化、持续失败、稳定成功
• 优化器撰写纵向指导块，写入 slow-update 字段

关键消融：移除慢更新导致 SpreadsheetBench 暴跌 -22.5 分（77.5 → 55.0），说明局部编辑会覆盖持久的过程性课程。

被拒编辑缓冲区（Rejected-Edit Buffer）

• 每个epoch维护本地缓冲区
• 记录：失败模式、尝试过的编辑、导致的分数下降
• 后续反思调用接收此缓冲区作为上下文

效果：

作用：避免重复失败编辑，聚焦未解决失败，提供训练期间的负反馈而不增加推理成本。

实验结果：52个单元格全满贯

实验规模

核心结果：52/52 全胜

在全部52个评估单元中，SkillOpt 取得最佳或并列最佳。没有一个单元输给任何基线。

标杆性数据（GPT-5.5，Direct Chat）

跨模型一致性（Direct Chat）

关键发现：

• SkillOpt 在所有7个模型上均超越人类专家（除个别模型在个别基准外，但平均看全面超越）
• 模型越弱，相对提升越大：GPT-5.4-nano 无技能31.6→49.0（+55%），GPT-5.5 58.8→82.3（+40%）
• 这表明 SkillOpt 的技能具有知识蒸馏特性：强优化器训练弱模型

跨环境（Agent harness）提升

基线对比的关键发现

1. 人类专家（Human）不总是最优

• SpreadsheetBench：人类72.9 vs SkillOpt 80.7（SkillOpt +7.8）
• OfficeQA：人类66.9 vs SkillOpt 72.1（SkillOpt +5.2）
• 但 DocVQA：人类90.1 vs SkillOpt 91.2（接近）
• 结论：人类专家在结构化任务（表格、办公）上远低于SkillOpt，在视觉理解（DocVQA）上接近

2. LLM单轮生成（LLM Skill）质量极不稳定

• SearchQA：80.9（接近人类）
• OfficeQA：51.7（远低于人类66.9）
• SpreadsheetBench：43.2（远低于人类72.9）
• 结论：单轮生成不可控，质量方差极大

3. TextGrad 经常拖后腿

• SpreadsheetBench：41.1（比无技能还低 -0.7）
• ALFWorld：82.8（比无技能还低 -0.8）
• OfficeQA（GPT-5.4-mini）：30.0（远低于无技能22.1）
• 结论：TextGrad 的无界重写策略在复杂任务上可能破坏原有能力

4. GEPA 强但不够

• GEPA 在多数基准上表现良好，但仅在52个单元中的2个与SkillOpt并列，其余50个均落败
• 平均差距：+2.5至+5.8分

5. Trace2Skill 中等偏上，但天花板明显

• 相比无技能有明显提升，但几乎在所有单元上都低于SkillOpt
• 尤其 LiveMath：52.0 vs 66.9（-14.9）

消融实验：每个组件值多少分？

关键洞察：

• 慢更新最关键：移除后 SpreadsheetBench 暴跌 -22.5，说明过程性课程需要跨epoch整合
• 拒绝缓冲区其次：-4.6分，避免重复失败
• 元技能第三：跨epoch模式总结
• 编辑预算基础：无界重写显著更差

迁移性：优化产物通用到什么程度？

论文测试了三种迁移：

1. 跨模型迁移：同一技能应用到不同模型

   • GPT-5.5优化的技能 → GPT-5.4：仍有效，但分数略降（需重优化）
   • 小模型优化技能 → 大模型：通常有效，但非最优

2. 跨环境迁移：Direct Chat优化的技能 → Codex/Claude Code

   • 基础技能有效，但 harness 特定细节需调整
   • 整体仍优于基线

3. 跨任务迁移：数学优化技能 → 相近数学任务

   • 无需继续优化即可直接应用
   • 比从零训练快且稳定

与现有方法的对比

局限性与开放问题

1. 优化器模型依赖：默认用 GPT-5.5 作为优化器，虽然与目标解耦，但强优化器本身获取不易
2. 训练时间：SFT ~3小时，RL ~28小时（参考Skill-3D），SkillOpt 文本优化可能类似或更长
3. 超参数敏感：编辑预算、衰减策略、缓冲区大小需调参，"最佳因基准而异"
4. 文本空间约束：编辑操作（ADD/DEL/REP）限制了表达能力，某些复杂修改可能需要Rewrite模式
5. 领域泛化：当前6个基准都是Agent/工具任务，创意写作、开放对话等软性任务未验证

影响与展望

对Prompt Engineering的终结

SkillOpt 意味着：

• 人工写技能 = 手写权重：可以，但不如自动优化
• 单轮生成技能 = 随机初始化：可用，但天花板低
• SkillOpt = 训练优化器：可复现、可迭代、可超越起点

如果SkillOpt被集成到 Claude Code、Cursor、GitHub Copilot 等开发工具中，开发者可能不再需要手动调整系统提示——技能会自动从执行反馈中进化。

对Agent架构的启示

1. 技能 = 外部状态：Agent的参数冻结，技能是可训练的外部模块
2. 优化器 ≠ 执行器：教师-学生解耦，强优化器训练弱模型
3. 文本空间需要深度学习纪律：学习率、梯度门控、批量调度、早停——这些都不是权重空间专利

一个更深层的意义

SkillOpt 证明了：

文本不是非结构化的混沌——它可以被系统优化，只要给它装上正确的工程纪律。

ADD/DEL/REP 是文本的"梯度方向"，编辑预算是"学习率"，验证门控是"val check"，慢更新是"momentum"。这些概念从权重空间迁移到文本空间，不是类比，而是等价的工程实现。

这意味着：未来Agent的核心能力可能不是"更大的模型"，而是"更好的技能优化器"。模型是冻结的硬件，技能是进化的软件。

结论

SkillOpt是Agent技能领域的里程碑工作。它首次将深度学习优化的纪律性完整迁移到文本空间：

• 52/52全胜：6基准×7模型×3环境，全面超越所有基线
• 部署零成本：优化器仅离线训练，推理不增加任何调用
• 可复现性：严格验证门控 + 编辑预算 + 负反馈缓冲区 = 稳定的优化过程
• 超越人类：在结构化任务上远超人类专家编写技能
• 知识蒸馏：强优化器（GPT-5.5）训练的产物可提升弱模型（GPT-5.4-nano提升55%）

如果 Vision Banana 是视觉领域的"GPT时刻"，那么 SkillOpt 可能是 Agent 领域的"优化器时刻"——它证明了文本技能可以被系统优化，且这种优化不需要改变模型权重，不需要增加推理成本，只需要工程纪律。

参考信息

• 论文：https://arxiv.org/abs/2605.23904
• 项目：https://github.com/microsoft/SkillOpt
• 团队：Microsoft Research
• 发表时间：2026-05

#论文 #Agent #技能优化 #文本优化器 #Microsoft #深度学习 #提示工程 #小凯