一百零八次做成一百零四次,代价是一次成功平均等二百八十秒,其中二百一十一秒在想。
厨房里有两种人。一种背熟了几十道菜谱,起火到装盘一气呵成,菜单之外就抓瞎。另一种手边摆着相机、量尺和一沓草稿纸,来什么菜现想现做,会自己找藏在柜子里的东西,也会拿手边的物件当工具使,慢得让人想催。苹果那篇机器人论文测的是后一种,而且特意不给它现成的抓取、推动与放置技能。
arXiv:2611.09892 的 v1 是 11 月 6 日 18:59 UTC 提交的,13 位作者,含 Chen Chen、Omid Bagherieh、Matthias Müller 与 Vladlen Koltun,代码和视频放在 apple-aiml-research.github.io。多家二手站写 11 月 9 日,那是收录与传播的日子,不是提交日。论文给这套框架起名 AMP1,全称 Agentic Manipulation Policies,一套 harness 不改一行就能跑单臂、双臂和移动操作。
零样本,零示范,零专用技能
专用策略这一侧,VLA 把相机画面加一句指令喂进去,直接吐动作;WAM 再多学一个世界怎么变化的模型。两者都吃大量机器人专属训练数据。AMP1 换了个位置:通用大模型拿到三路相机(两路肩视角加一路腕视角),彩色与深度图,相机标定,还有关节状态和夹爪状态,外加一个保持状态的 Python 解释器,自己写技能,自己跑,看结果,再自己改。
harness 里没有抓取或推动的原语,放置也得自己写。论文统计了 1,200 个 RoboLab episode 里自己长出来的行为:66% 的 episode 会在放置前量一下容器,61% 会把抓取方向与物体轴对齐,47% 会推理物体的长短轴,40% 会在 harness 拒绝一段运动后读原因修计划,39% 在运动执行失败后先诊断再重排。
有一处消融特别值得抄。给最强的四个模型加辅助技能,成绩全部变差,最多掉 7.5 个百分点;给最弱的六个模型加,全部改善,最多涨 17.6 个百分点。作者的解释是辅助例程把失败藏了起来,内部悄悄重试,只回报成没成,模型看不到每个原子动作的结果,也就来不及纠。这个结论对眼下"给 agent 多塞工具"的风气是个提醒,工具该给到看得见反馈的那一层。
一百零八次里,谁成了多少次
RoboLab-120 是仿真基准,120 个自然语言任务,每任务 10 个 episode,按默认、模糊与具体三种指令条件各跑 1,200 次,合计 3,600 次。真机是 12 个任务、3 台 Franka Research 3 机械臂,每任务 9 次,合计 108 次。两组数看着都带 49 和 42,量纲完全不同。
| 口径 | AMP1 | 对照 |
|---|---|---|
| RoboLab-120 默认条件成功率(仿真) | Gemini 4 Argon 85.6%,Opus 5.5 82.8% | VLA 49.2%,WAM 42.9% |
| 真机 108 次试验成功次数 | 104 次,96.3% | FLUX 3 Action 49 次,π0.5 30 次 |
| 真机平均成功时间 | 280 秒(执行 69 秒,推理 211 秒) | π0.5 62 秒,FLUX 44 秒 |
| 关掉错误恢复 | 94 次,87.0% | 基线遇控制器错误即终止该次试验 |
仿真里的 49.2% 与 42.9% 是百分比;真机里的 49 与 30 是成功次数,换回百分比是 45.4% 与 27.8%。论文摘要那句"失败率降 20 倍与 15 倍"也能自算:π0.5 失败率 72.2% 除以 AMP1 的 3.7% 约 19.5,FLUX 的 54.6% 除以 3.7% 约 14.8。有意思的是,摘要与引言里 15 倍、20 倍的对应顺序写得不一致,但按 VLA 与 WAM 分别指代,含义对得上。
速度那一行别跳过去。AMP1 平均一次成功要 280 秒,其中 211 秒花在模型推理,基线的 62 秒和 44 秒快得多。作者自己给的判断是:一半任务都做不成的策略,再快也不实用。仿真评测里模拟器在 agent 思考时是暂停的,只有执行动作计入时限;真机那 211 秒是实打实等在那里的,两个时间口径不能并排比。
分数接近满分时,剩下的是什么
CaP-Gym 那几组数更整齐:LIBERO-PRO 95.2%,robosuite 700 次全中,BEHAVIOR-1K 48/50 得 96.0%。LIBERO-PRO 上 HarnessPAI 报 96.5%,比 AMP1 高,论文点明它在评测集内的种子上演化程序,还用了按该基准 verifier 判定成功而微调的 VLA,因此不算同一口径的零样本。
作者对剩余失败写得很坦白。RoboLab-120 默认条件下 Gemini 4 Argon 失败 173 次,其中 121 次可归因于基准本身:77 次是物体几何或质量让标准平行夹爪根本夹不起来,44 次是 verifier 拒绝了看起来合理的终态;剔掉这些伪影的 95 个任务上,成绩是 96.2%(914/950)。LIBERO-PRO 里多数失败是 AMP1 自认为做成了,而基准的检查器与人对指令的自然理解不一致,比如灶台哪一侧算正面、抽屉要拉多远。
传感输入的差距也被消融挡回去了。AMP1 用 RGB 加深度加相机标定,典型 VLA 只有 RGB;Opus 5.5 去掉直接深度仍有 81.1%,只用 RGB 有 75.8%,换成纯文字描述掉到 36.8%。作者据此说更丰富的输入解释不了全部差距,同时把"文字描述丢掉几何细节"这一条摆上了台面。
记忆那条线也值得单记。RoboDojo 是 42 个双臂任务,零样本 26.4%,每个任务练 5 次、总预算 48 个 episode 之后到 84.1%,失败率降 4.6 倍(73.6 除以 15.9 约 4.6)。全程不做梯度更新,也没有专家示范,只有一个跨 episode 带下去的持久记忆文件夹,里面装笔记、代码和数据。到第二轮时 42 个任务里已有 39 个在记忆里存下了代码库,模型调用次数约减半。这是系统层面的学习,模型权重一个字节没动。
边界写在论文里
作者列的限制比多数论文直白:慢,机器人每个 episode 大半时间在等模型;一段轨迹执行途中不能重规划,评测基本是准静态场景,移动目标或打滑的物体可能要求在下一次模型回合之前就反应;离 mission-critical 场景还远。那句总结值得原样记:"专用策略速度快但不可靠,AMP 可靠但慢。"
收在这儿就够了。这套 harness 证明的是通用模型在不动权重、不给示范的条件下能把机械臂使唤起来,并且知道自己错在哪。它还没有证明这套办法能在流水线节拍里活下来。把 96.3% 与 280 秒放在同一行读,比单挑一个数字诚实。
同一天还翻到
| 方向 | 线索 | 状态 |
|---|---|---|
| 具身(对照) | 本站 11 月 10 日写的 arXiv 2611.09376,改嵌入矩阵里几十行 token 权重做词面修复 | 见 178636996,那条改权重,这条不动权重,两条路线正可对读 |
| 物理 | 清华物理系罗迪课题组关于 QED3 晶格哈密顿量中交错费米子与 Wilson 费米子的分析 | 校方网页未标日期 |
| 数学 | arXiv 2611.01714,三色广义 Schur 数 T_k(3) 等于 k 的三次方加 2k 平方减 2,用 33 个多项式的临界集合证明 | 11 月 1 日提交,62 个案例、深度 8,附录有独立程序复核 |
信源与限定:arXiv:2611.09892 v1,2026-11-06 18:59 UTC 提交,cs.RO / cs.AI / cs.CV / cs.LG,13 位作者;文中全部数字出自该论文摘要、HTML 正文的消融与失败分析、Methods 与 Limitations。二手站 arxivsignals 标注的 2026-11-09 为收录日。仿真评测中模拟器在 agent 推理期间暂停,只有执行动作计入时限;真机 280 秒含 211 秒推理,两种时间口径不可直接比较。论文自陈尚未达到 mission-critical 部署条件,代码与仿真数据已公开但本文未独立复跑。
#具身智能 #机器人操作 #零样本 #口径核对
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。