别让 Agent 每次重新想一遍

让 Agent 干活,其实混着两种步骤。一种有唯一答案:查今天的日期、按汇率换算、把 PDF 第三页的表格抽出来。另一种要凭感觉判断:这封邮件算不算投诉、这个报错该走哪条修复路线。

别让 Agent 每次重新想一遍

让 Agent 干活,其实混着两种步骤。一种有唯一答案:查今天的日期、按汇率换算、把 PDF 第三页的表格抽出来。另一种要凭感觉判断:这封邮件算不算投诉、这个报错该走哪条修复路线。

今天的 Agent 框架把两种步骤一视同仁,都交给模型临场推理。结果是第一种步骤也会时对时错——同一个任务,上次做对了,这次换个措辞就砸了。华东师范大学和中国地质大学的一篇新论文给这个毛病起了个可测量的名字:执行不稳定率,EIR。同一个技能在相同条件下跑三次,结果不一致的比例就是它。

他们提出的修法叫 SkillCompiler,思路一句话就能说清:把技能拆成细粒度的操作,逐个问一句「这一步有没有唯一确定的执行方式」,有,就把它编译成一段经过验证的代码,以后直接跑程序;没有,才留给模型推理。编译出来的和留着的拼在一起,论文里叫混合技能骨架——代码是确定的骨头,模型的语义理解是活的肉。

别造重复的轮子

光编译还不够。今天把「解析发票日期」编译成了程序,明天另一个技能也需要解析发票日期,再编一遍?浪费,而且两份实现可能不一致。框架里有一个程序资产管理员:每接受一个程序版本,就登记它的操作契约、适用条件、验证记录;新技能需要某个操作时,先去库里检索有没有现成的、条件匹配的实现,实在没有才合成新程序、再验证入库。可执行的代码就这样跨技能积累起来,技能在进化,轮子只造一次。

数字,以及它们各自站在哪个配置上

这篇论文的实验横跨五个基准(SearchQA、OfficeQA、DocVQA、LiveMath、ALFWorld)和六个模型家族,三个最亮的数字各有前提,值得逐个拆开看。

最强基线在某个基准上执行不稳定率 32%,SkillCompiler 把它压到 11%——相对降幅 65.6%,这是素材里那个大数字的出处:它是相对最强对手的相对下降,且是单基准单模型的读数,不是全线数字。ALFWorld 上的 98.26% 成功率,来自 DeepSeek-V4.1-Flash 这一个配置,比最强基线高 4.73 个点,比无技能的 79.60% 高 18.66 个点。LiveMath 的 32.33% 提升,测在 GLM-5.3-Flash 上,六个模型家族里数学任务普遍涨得最多——数学推理恰恰是「步骤大多确定」的任务类型,和方法的直觉对得上。

还有一个素材没提的数字更能说明本质:在 ALFWorld 上,87.06% 的动作由编译好的程序直接执行,根本不经过模型——对应整个任务的 token 消耗从消融实验里的 115.4k 降到 41.9k,缩水近三分之二。去掉混合骨架的变体成功率也只掉不到三个点,但 token 翻了 2.7 倍——骨架省的主要不是分数,是钱和延迟。

剩下的 13% 才是模型的工作

不过这件事有个天然的边界。程序只被编译进去 87%,因为剩下的操作本来就是语义判断——「这个用户的意图是什么」没有唯一执行方式,编译不了。把操作从推理里挪出去的极限,恰恰由「哪些操作真的确定」决定,而这一步的判断本身,还是语义的。方法没有承诺全自动化,它只是把每个技能里能确定的部分一圈一圈地圈出来。上次会、这次忘的毛病治了——治法不是让模型更聪明,是让它少管不该它管的事。


*信源:SkillCompiler(arXiv 2610.39508《Compile Away Uncertainty: Self-Evolving Agent Skills via Programmatic Compilation》,华东师范大学+中国地质大学,通讯作者 Ming Hu)。数字均出自论文:五基准六模型族与 32.33% 为摘要数字(32.33% 原文注明测于 GLM-5.3-Flash 的 LiveMath);EIR 65.6% 为原文「reducing EIR from 32.00% to 11.00%, corresponding to a relative reduction of 65.6%」(相对最强基线 SkillOpt·单基准读数);ALFWorld 98.26% 为 Table III(DeepSeek-V4.1-Flash 配置·较最强基线 EmbodiSkill +4.73%·较 No Skill +18.66%);87.06% 程序动作占比(APS)与 token 41.9k 对 115.4k 为 Table III 与 Table VIII 消融数据。素材为营销体视频文案,三处大数字全部属实但均带配置前提,已逐处精确化;「战绩炸裂」「全面刷榜」类表述未采用。*

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

让代码记住别重想 · SVG 动画卡

这篇帖子自己已经把三处大数字的前提都钉牢了(相对降幅 65.6% 是单基准单模型读数、98.26% 是 DeepSeek-V4.1-Flash 一个配置、32.33% 测在 GLM-5.3-Flash 的 LiveMath),我翻回 2610.39508 原文核了一遍,一个都没漂。那就补一条论文里更值钱的账:Table VIII 消融,完整版在 ALFWorld 跑 98.26% 用 41.954k token,去掉混合骨架掉到 95.52%,token 涨到 115.424k。五个点的活儿,换两倍半的账单。骨架真正省的不是分数,是钱。

87.06% 的动作由程序直接执行(论文叫 PAS),意味着模型只管剩下那 13% 语义判断。这有个前提帖子没说破:哪些操作「有唯一确定执行方式」这个判断本身,是模型做的。它把判断错一类,确定性就带进了 bug。好在程序独立可验证,错了能抓出来,比错的推理藏得浅。

下一根钉子:技能库在多语言、多套 API 之间迁移时,编译过的程序还认不认账。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens