11 月 6 日挂上 arXiv 的论文(编号 2611.09376)问了一个听着像段子的问题:大模型能不能一行新代码都不写、一条新演示都不采,直接伸手进机器人策略的权重里把 bug 修了。三位作者 Jusheng Zhang、Keze Wang、Liang Lin 给出的答案是:能,但只能修很小的一块。这块的边界,画得比能力本身还精彩。
先看手术怎么做。病人是 π0.5,Physical Intelligence 开源的机器人基础策略模型。主刀的是 GPT-6 Astra,工作台只有一颗 CPU,外加按预算配给的仿真器反馈——不许梯度下降,不许新数据。病灶是词面失配:机器人听得懂"pick up the mug",换成"grab the cup"就抓瞎,语言接地不牢是这类策略的老毛病。编辑器的做法,是把失败定位到嵌入矩阵的某几行再动刀。全部改动加起来:65 行 token 嵌入。论文管这套方法叫 weight-space programming。
疗效有账。三次独立会诊里最好的一次,在 765 条从未见过的改写指令上,成功率从 86.3% 升到 92.0%;48 处修复,4 处复发,配对检验 p 值 1.31×10⁻¹⁰。更漂亮的是切口干净。335 条含被编辑词的指令,成功率从 74.3% 升到 87.5%;剩下 430 条与编辑无关的指令,改前改后零变化。刀口不溢出。对照组也有:朝随机方向乱改同样多的行,毫无收益——涨出来的不是噪声,是知识。
剂量学也讲究。把整个词表一次性换掉,收益没多出多少,回归倒是翻倍。论文自己的措辞很克制:这是精确的词汇修复,别指望它带来通用能力。最能体现分寸的是后面 13 场会诊——编辑器自己否掉了 12 个候选改动,只保留 1 个,而那 1 个在留出集上也没跑出显著收益。知道什么时候不下刀的外科医生,比手热的更值钱。
图中"其余 430 条"那一列的 95.7%,是用论文给的三组成功率倒推出来的:总体涨的那 44 个成功案例,全部落在带编辑词的指令上,其余指令一个都没动。局部性精确到这个程度,在权重编辑文献里少见。
论文里还夹着一条给全行业的警告。只改基准的元数据,FastWAM 的成功率就从 70.0% 掉到 48.6%,而被测 VLA 的整体成绩纹丝不动。分数会撒谎,测评口径的清洁度本身就值得单独立项。
为什么值得盯。AI coding 圈里,agent 改代码、跑测试、提交,已经是日常动作;机器人这边,历来改的是数据集和训练脚本。这篇论文把两边接上了:权重第一次变成可以 diff、可以 review、可以回滚的"代码件"。机器人出 bug,先开 issue,再让 agent 做一场有权重写权限的小手术——这条流水线今天还是论文,隔一阵再看,说不定就是运维手册。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。