具身 · 一百零八次做成一百零四次,代价是每次等二百八十秒

一百零八次做成一百零四次,代价是一次成功平均等二百八十秒,其中二百一十一秒在想。

目录
  1. 零样本,零示范,零专用技能
  2. 一百零八次里,谁成了多少次
  3. 分数接近满分时,剩下的是什么
  4. 边界写在论文里
  5. 同一天还翻到

一百零八次做成一百零四次,代价是一次成功平均等二百八十秒,其中二百一十一秒在想。

厨房里有两种人。一种背熟了几十道菜谱,起火到装盘一气呵成,菜单之外就抓瞎。另一种手边摆着相机、量尺和一沓草稿纸,来什么菜现想现做,会自己找藏在柜子里的东西,也会拿手边的物件当工具使,慢得让人想催。苹果那篇机器人论文测的是后一种,而且特意不给它现成的抓取、推动与放置技能。

arXiv:2611.09892 的 v1 是 11 月 6 日 18:59 UTC 提交的,13 位作者,含 Chen Chen、Omid Bagherieh、Matthias Müller 与 Vladlen Koltun,代码和视频放在 apple-aiml-research.github.io。多家二手站写 11 月 9 日,那是收录与传播的日子,不是提交日。论文给这套框架起名 AMP1,全称 Agentic Manipulation Policies,一套 harness 不改一行就能跑单臂、双臂和移动操作。

零样本,零示范,零专用技能

专用策略这一侧,VLA 把相机画面加一句指令喂进去,直接吐动作;WAM 再多学一个世界怎么变化的模型。两者都吃大量机器人专属训练数据。AMP1 换了个位置:通用大模型拿到三路相机(两路肩视角加一路腕视角),彩色与深度图,相机标定,还有关节状态和夹爪状态,外加一个保持状态的 Python 解释器,自己写技能,自己跑,看结果,再自己改。

harness 里没有抓取或推动的原语,放置也得自己写。论文统计了 1,200 个 RoboLab episode 里自己长出来的行为:66% 的 episode 会在放置前量一下容器,61% 会把抓取方向与物体轴对齐,47% 会推理物体的长短轴,40% 会在 harness 拒绝一段运动后读原因修计划,39% 在运动执行失败后先诊断再重排。

有一处消融特别值得抄。给最强的四个模型加辅助技能,成绩全部变差,最多掉 7.5 个百分点;给最弱的六个模型加,全部改善,最多涨 17.6 个百分点。作者的解释是辅助例程把失败藏了起来,内部悄悄重试,只回报成没成,模型看不到每个原子动作的结果,也就来不及纠。这个结论对眼下"给 agent 多塞工具"的风气是个提醒,工具该给到看得见反馈的那一层。

一百零八次里,谁成了多少次

RoboLab-120 是仿真基准,120 个自然语言任务,每任务 10 个 episode,按默认、模糊与具体三种指令条件各跑 1,200 次,合计 3,600 次。真机是 12 个任务、3 台 Franka Research 3 机械臂,每任务 9 次,合计 108 次。两组数看着都带 49 和 42,量纲完全不同。

口径AMP1对照
RoboLab-120 默认条件成功率(仿真)Gemini 4 Argon 85.6%,Opus 5.5 82.8%VLA 49.2%,WAM 42.9%
真机 108 次试验成功次数104 次,96.3%FLUX 3 Action 49 次,π0.5 30 次
真机平均成功时间280 秒(执行 69 秒,推理 211 秒)π0.5 62 秒,FLUX 44 秒
关掉错误恢复94 次,87.0%基线遇控制器错误即终止该次试验
仿真里的 49.2% 与 42.9% 是百分比;真机里的 49 与 30 是成功次数,换回百分比是 45.4% 与 27.8%。论文摘要那句"失败率降 20 倍与 15 倍"也能自算:π0.5 失败率 72.2% 除以 AMP1 的 3.7% 约 19.5,FLUX 的 54.6% 除以 3.7% 约 14.8。有意思的是,摘要与引言里 15 倍、20 倍的对应顺序写得不一致,但按 VLA 与 WAM 分别指代,含义对得上。

速度那一行别跳过去。AMP1 平均一次成功要 280 秒,其中 211 秒花在模型推理,基线的 62 秒和 44 秒快得多。作者自己给的判断是:一半任务都做不成的策略,再快也不实用。仿真评测里模拟器在 agent 思考时是暂停的,只有执行动作计入时限;真机那 211 秒是实打实等在那里的,两个时间口径不能并排比。

分数接近满分时,剩下的是什么

CaP-Gym 那几组数更整齐:LIBERO-PRO 95.2%,robosuite 700 次全中,BEHAVIOR-1K 48/50 得 96.0%。LIBERO-PRO 上 HarnessPAI 报 96.5%,比 AMP1 高,论文点明它在评测集内的种子上演化程序,还用了按该基准 verifier 判定成功而微调的 VLA,因此不算同一口径的零样本。

作者对剩余失败写得很坦白。RoboLab-120 默认条件下 Gemini 4 Argon 失败 173 次,其中 121 次可归因于基准本身:77 次是物体几何或质量让标准平行夹爪根本夹不起来,44 次是 verifier 拒绝了看起来合理的终态;剔掉这些伪影的 95 个任务上,成绩是 96.2%(914/950)。LIBERO-PRO 里多数失败是 AMP1 自认为做成了,而基准的检查器与人对指令的自然理解不一致,比如灶台哪一侧算正面、抽屉要拉多远。

传感输入的差距也被消融挡回去了。AMP1 用 RGB 加深度加相机标定,典型 VLA 只有 RGB;Opus 5.5 去掉直接深度仍有 81.1%,只用 RGB 有 75.8%,换成纯文字描述掉到 36.8%。作者据此说更丰富的输入解释不了全部差距,同时把"文字描述丢掉几何细节"这一条摆上了台面。

记忆那条线也值得单记。RoboDojo 是 42 个双臂任务,零样本 26.4%,每个任务练 5 次、总预算 48 个 episode 之后到 84.1%,失败率降 4.6 倍(73.6 除以 15.9 约 4.6)。全程不做梯度更新,也没有专家示范,只有一个跨 episode 带下去的持久记忆文件夹,里面装笔记、代码和数据。到第二轮时 42 个任务里已有 39 个在记忆里存下了代码库,模型调用次数约减半。这是系统层面的学习,模型权重一个字节没动。

边界写在论文里

作者列的限制比多数论文直白:慢,机器人每个 episode 大半时间在等模型;一段轨迹执行途中不能重规划,评测基本是准静态场景,移动目标或打滑的物体可能要求在下一次模型回合之前就反应;离 mission-critical 场景还远。那句总结值得原样记:"专用策略速度快但不可靠,AMP 可靠但慢。"

收在这儿就够了。这套 harness 证明的是通用模型在不动权重、不给示范的条件下能把机械臂使唤起来,并且知道自己错在哪。它还没有证明这套办法能在流水线节拍里活下来。把 96.3% 与 280 秒放在同一行读,比单挑一个数字诚实。

同一天还翻到

方向线索状态
具身(对照)本站 11 月 10 日写的 arXiv 2611.09376,改嵌入矩阵里几十行 token 权重做词面修复见 178636996,那条改权重,这条不动权重,两条路线正可对读
物理清华物理系罗迪课题组关于 QED3 晶格哈密顿量中交错费米子与 Wilson 费米子的分析校方网页未标日期
数学arXiv 2611.01714,三色广义 Schur 数 T_k(3) 等于 k 的三次方加 2k 平方减 2,用 33 个多项式的临界集合证明11 月 1 日提交,62 个案例、深度 8,附录有独立程序复核
信源与限定:arXiv:2611.09892 v1,2026-11-06 18:59 UTC 提交,cs.RO / cs.AI / cs.CV / cs.LG,13 位作者;文中全部数字出自该论文摘要、HTML 正文的消融与失败分析、Methods 与 Limitations。二手站 arxivsignals 标注的 2026-11-09 为收录日。仿真评测中模拟器在 agent 推理期间暂停,只有执行动作计入时限;真机 280 秒含 211 秒推理,两种时间口径不可直接比较。论文自陈尚未达到 mission-critical 部署条件,代码与仿真数据已公开但本文未独立复跑。

#具身智能 #机器人操作 #零样本 #口径核对

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens