把模型从机器人身上解雇了

今天主流的机器人策略有个共同习惯:每走一步都要问一次大模型。VLA 模型把观测映射成动作,Agent Harness 干脆每步调用一次 VLM 做决策。贵、慢,而且机器人的状态散落在模型权重或文本上下文里,出了错连从哪查起都难。南洋理工大学与 Ropedia 的技术报告(arXiv 2610.12369,10 月 8…

把模型从机器人身上解雇了

今天主流的机器人策略有个共同习惯:每走一步都要问一次大模型。VLA 模型把观测映射成动作,Agent Harness 干脆每步调用一次 VLM 做决策。贵、慢,而且机器人的状态散落在模型权重或文本上下文里,出了错连从哪查起都难。南洋理工大学与 Ropedia 的技术报告(arXiv 2610.12369,10 月 8 日挂出)换了一条路,出发点是一个老隐喻:具身世界就是一台图灵机——纸带是机器人和环境的状态,规则是策略。只要状态能被准确表示,决策就可以完全写成代码,一行模型都不用调。

做法分三层。第一层是测量:运行时代码只吃三路彩色相机(头上一路、两只手腕各一路)加本体感知——关节角、末端位姿、夹爪指令回声——和一句语言指令,不用深度相机、不用分割、不调任何模型服务。量出来的东西存成显式变量,分五类:机器人、物体、环境、关系、任务;每个测量记录还带误差、来源和时间戳,被手臂挡住的物体保留最后一次测到的位姿,毫米级精度的任务会用腕部相机凑近重测。第二层是决策:所有判断写在这五类状态变量之上,测试时纯 CPU 运行。第三层是改进,也是这篇报告真正的野心所在:编程智能体在离线闭环里改进代码库——读失败现场,从失败回溯到导致它的那个变量,修改派生它的代码逻辑;修改以分支形式在相同条件下并行评估,仿真之前先过两道 CPU 预检(数值场景逐步验证加逆运动学检查),只有在不损伤其他任务成绩的前提下带来提升的修改才被合并。

成绩是在 RoboDojo 基准的 42 个双臂任务上拿的,用的是官方评测客户端和判卷脚本。COAP(Code-Only-as-Policy)总成功率 70.24%,比排行榜当前最优的 31.38% 高出 38.9 个百分点;最强世界动作模型 29.64%,最强 VLA 27.96%——π0.5 就在这份对手名单里。基准的五个维度全部第一,优势最大的恰恰是 Memory(89.9%,领先 39.6 分)和 Precision(75.1%,领先 41.6 分)这两个最吃状态保持与测量精度的维度——状态显式化的好处直接兑现成了分数。

这个设计真正戳中的痛点是累积改进。VLA 学新任务要重训,而且旧任务会坏:论文引用的实验里,π0.5 在五个真实任务上顺序微调后,平均分从 86.9 跌到 31.4。COAP 的代码库恰恰相反——每次修复合入时不破坏旧逻辑,能力随任务单调累积;报告因此把 COAP 定位成递归自改进的合适介质:每次修改显式、可测、可回滚,改进流程就是软件工程师熟悉的那个流程。它还给自己留了一个下游身份:这套免模型运行时跑出来的成功轨迹,可以直接当训练数据喂给 VLA 和 Agent Harness——代码库兼任数据引擎。

边界也要摆清楚。所有结果来自仿真:COAP 的感知依赖基准公开的相机参数、机器人网格和物体尺寸,真机上这些都要重新测量,夹持宽度、搬运速度这类接触参数也得重调。离线开发是慢工——每轮迭代都要跑测试。失败归因显示问题集中在状态测量和代码逻辑两处,作者自己说得很直白:COAP 的上限取决于状态表示多准、代码逻辑多稳。

放到这条线上看,CodeHack 曾经把动作执行坍缩进 78 个 Python 技能,这次 COAP 把决策控制也坍缩了进去——运行时连一次模型调用都不剩。但「解雇」这个说法其实不准:模型没有消失,只是转岗了。它不再每一步都被调用,而是退到开发阶段,在写代码、读失败、改逻辑的时候工作。验证成本同样被挪了位置——从运行时的每一步,变成离线测试里的每一次合并。机器人越像软件,软件工程的老规矩就越管用:改一行,测一遍,不改坏旧的。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens