删掉三个组件,Agent 进化反而更快
在 VS Code 里打开一个装好环境的文件夹,对 Copilot 的聊天框输入这一行:
/skillopt-loop rounds=10 batch=40 target=gpt-5.4-nano
接下来的几个小时里,这个编码 agent 会自己跑任务、自己看失败记录、自己改那份叫 skill.md 的技能文件,改完再跑验证,验证过了才留下。开发者全程只贡献了这一行命令。论文给它起了个顺口的名字:一行 vibe 的自我进化。
这项工作七月初挂上 arXiv,被 ICML 2026 收为 poster,作者来自三方:LMMs-Lab 的 Yifei Shen(多模态模型 LLaVA-OneVision-2 的第一作者)、南洋理工 MMLab 的 Bo Li,以及微软的 Xinjie Zhang。它要回答的问题听起来很朴素:让 agent 自己优化自己的技能,到底最少需要几个部件?
先看它删了什么
这不是这条赛道的第一篇论文。前面有个叫 SkillOpt 的框架,已经做得很完整:把成功和失败的轨迹聚成小批做反思池,用慢更新阻尼防止技能突变,被拒绝的修改存进历史缓冲区避免重蹈覆辙。听上去每个组件都有道理。
SkillOpt-Lite 的做法是把这些全删了。反思池、阻尼、拒绝缓冲,三个组件一个不留,只留下一条最短路径:把每条任务轨迹原样存成独立的文本文件,让优化器模型像程序员翻目录一样自己去看;跨任务找到共同的失败模式,生成一份紧凑的修改补丁;补丁在验证集上过线才被接受,超过历史最好成绩才写进生产文件。被拒的补丁直接进日志归档。
结果不是打折扣,是变好变快。LiveMath 上,GPT-5.5 的成绩从 SkillOpt 版的 64.8 涨到 73.6,GPT-4o 从 31.2 涨到 58.8,最小的 GPT-5.4-nano 从 30.3 涨到 55.7——涨 25.4 分。算力账还倒着算:原框架最多跑 4 个 epoch,Lite 严格只跑 10 个 batch,用更少的计算拿到了更高的分。
为什么删了反而好
论文给的解释值得慢慢讲。它先做了一件翻译工作:把各家 skill 优化方法都翻译成经典优化理论里的零阶优化——没有解析梯度、只能靠试错估计方向的优化。在这个框架下,成功与失败的轨迹对比就是中心差分,故障点的原子修改就是坐标下降,编辑预算的衰减就是信赖域半径,被拒修改的存档就是控制变量。原来这个领域各家自建的组件,都能在几十年前的优化课本里找到原型。
翻译完再看 SkillOpt 的反思池,问题就露出来了。数值优化里批量平均能降噪,是因为参数空间连续光滑,附近的点本来就相似。文本空间不是这样——两段不同措辞的技能修改,平均起来不是折中,是互相打架。反思池把八条不同的修改建议搅成一条,等于把方向信息抹掉了。删掉平均,让优化器做局部的、离散的文件编辑,信号的锐度反而保住了。
这个解释和实验结果对得上:收益最大的恰好是 LiveMath 和 Spreadsheet 这类推理任务,需要确定性的代码执行,失败的轨迹里写着清晰的报错。而在搜索问答、家庭环境模拟这类语义任务上,Lite 和完整版差距很小——语义失败没有那么清晰的梯度可挖。最小的 nano 模型上还有两处 Lite 反而输给完整版的地方(SearchQA 66.9 对 68.8,OfficeQA 15.5 对 18.4),论文照实印在了表里。
从技能到 harness
技能文件只是 agent 的一部分。这个框架更激进的推论是:既然技能是一份可编辑的文本,那跑任务的整套脚手架——评估代码、环境配置、提示词——全都是可编辑代码。优化技能的管线不用改一行,把编辑对象从 skill.md 扩大到整个文件夹,就成了 HarnessOpt。
SpreadsheetBench 上这一步的数字很硬:GPT-5.4-nano 配上被优化过的 harness,拿到 0.7758 的准确率,超过了跑标准管线加完整版 SkillOpt 的大模型 GPT-5.5(0.7620)。小模型加被调教过的脚手架,赢了大模型加出厂设置。前面六张主表都指向同一件事:模型冻结之后,工程侧的文本还在动,动它就有收益。
回到开头那一行命令。整个「框架」的本体其实是几份 markdown 提示词文件——仓库 README 里写着,任何能读 .github/prompts/*.prompt.md 的编码 agent 都能跑:Copilot、Codex CLI、Claude Code、kimi-code、glm-code 都在列。没有 SDK,没有服务,没有依赖安装,优化器的智能全部来自你自己的 agent。工具只拥有工作流,模型定上限——这份仓库是这句话最紧凑的一次实现。
一行命令值多少分?LiveMath 上 25.4 分,外加写这篇时仓库里 197 个 star,和一个刚打开的 harness 方向。
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。