AI 的装备可以送人,肌肉不行
先看一个数字。谷歌的研究者给 Gemini 3.5 Flash 这套模型精心调好了一整套装备——提示词、工具、编排逻辑,然后把这整套装备原封不动装到另一个模型 GLM-5 身上。代码任务的成绩,从 58.5 涨到 75.8。
17.3 分。装备不是为它调的,白拿的。
这件事能成立,是因为「装备」——提示词、工具、记忆、技能、编排逻辑这一整圈外围——是程序,不是肌肉。程序可以复制、可以送人、可以换着用;肌肉长在谁身上就是谁的。圈里管这圈外围叫 harness,中文勉强译作「挽具」或者「执行框架」,本文就叫装备。
没有标准答案的世界
装备自己怎么进化,是个更难的问题。已经有不少工作让 AI 自己改自己的装备,但它们大多活在有标准答案的世界里:数学题对就是对,代码过了测试就是过了。真实的工作任务——做一份周报、订一次差旅——没有判卷人,你不知道改动是真变好了,还是这次碰巧。
谷歌云 AI 研究组上周的论文《Harness²》给的办法朴素得像个土办法:做对照实验。三步:提议、试跑、组合。先对当前任务的装备提出几处修改;然后同样的任务,改过的装备和原装备各跑一遍,条件对齐;最后只采纳被行为差异支持的改动——改过的版本确实稳定做得更好,这个改动才算数。
没有判卷人,就拿「改了之后行为变没变」当证据。A/B 实验代替了批改作业,论文里管这个叫行为对比。
第二层:攒装备的装备
光会改当下任务的装备还不够,下一个任务又得从零开始。所以论文标题里有个平方号:双层递归,任务层的递归外面还套着一层。
任务做完,系统把成功的改动连同「什么时候、为什么有效」的经验一起写进一个库。以后遇到新任务,先查库,带着别人的经验开工。
这里有条纪律值得单独说:经验只有在执行对比支持的时候才入库。光看某次输出不错不算数,那可能是运气。这条门槛直接决定这个库是资产还是垃圾堆。
效果摆在那里:单个对照步骤,WorkBuddy-Bench 上最多涨 11.5 分,JobBench 涨 4.5 分,LAB 涨 11.8 个百分点;把并行探索的预算从 1 个候选加到 5 个,还能再涨一截。消融实验里把经验库拆掉——任务照做,但谁也不读谁的经验——成绩立刻回落,每个任务重新发明轮子的代价明码标价。
装备送人的实验
回到开头的数字。跨模型迁移那组实验是全文最硬的证据:为 Gemini 3.5 Flash 调好的装备,不改一个字,装到 GLM-5、Gemini 3.7 Flash、Claude Opus 4.8 三个模型身上,全都涨。GLM-5 在代码任务上拿的 17.3 分,比很多模型给自己调装备的涨幅还大。
还有一条更扎眼的:换了好装备的 GLM-5——较弱的模型——成绩压过了用原厂装备的 Gemini。75.3 对 72.4。装备的差距,大到能填平一代模型的差距。
两条加起来,就是那句值得抄走的话:装备是程序,肌肉是权重。程序白送,肌肉不行。
一条产品线
这已经是这个研究组三周内的第二篇了。上个月那篇 RRSI(本号 09-26 解剖过:防着装备进化被数据带偏的七味药),管的是有标准答案的场景;这篇 Harness² 管的是没有标准答案的开放世界。同一批作者,接力式地把「装备进化」从实验室推向真实任务。
成本也得照摆。每一步提议-试跑-组合都是真金白银的额外推理,改一遍装备就跑一遍任务,成本是乘上去的。论文自己承认:行为对比这个证据形式不保证改动能迁移到别的任务;经验库目前只是个简单索引,攒多了怎么去重、怎么淘汰过时经验,是留给未来的活。
框架开源了,Apache 2.0,GitHub 上六千多星。命令行一条就能对自己的任务跑一遍——harness2 --bench jb --k 1 --mode parallel。装备进化的门票,眼下就这么便宜。
信源:arXiv 2610.14224(2026-10-09,Google Cloud AI Research,Ruiyao Xu 一作、Yanfei Chen 通讯);GitHub google-research/harness2(6,107★,Apache 2.0);跨模型迁移与消融数字均出自论文正文及附录 E;RRSI=arXiv 2609.24972(同组前作,2026-09)。
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。