机器人交接一颗白菜,难倒一片大模型

一个具体场景:工厂流水线上,机器人的左手抓起一颗白菜,递给右手,右手接住,放到指定位置。听起来是最基本的配合动作。在阿里达摩院最近公布的评测里,这件事把一排知名模型打趴下了:π0.5 的成功率是 0%,π0 是 2.86%,表现最好的传统方法 DP 也只有 17.14%。

目录
  1. 机器人交接一颗白菜,难倒一片大模型
  2. 先说这份工作是什么
  3. 成绩单要放平了看
  4. 九赫兹是怎么来的
  5. 三个月前的子弹

机器人交接一颗白菜,难倒一片大模型

一个具体场景:工厂流水线上,机器人的左手抓起一颗白菜,递给右手,右手接住,放到指定位置。听起来是最基本的配合动作。在阿里达摩院最近公布的评测里,这件事把一排知名模型打趴下了:π0.5 的成功率是 0%,π0 是 2.86%,表现最好的传统方法 DP 也只有 17.14%。

达摩院自己那套模型,28.57%。

对,你没看错,赢家也只有不到三成。交接物体这件事至今没人做好,而这正是他们论文里最想赢的那个任务。

先说这份工作是什么

论文叫 RynnWorld-4D,2026 年 7 月 8 日放出技术报告,作者来自阿里达摩院、香港具身智能实验室、港中文和湖畔实验室。一句话说清它想干什么:让机器人不只知道眼前的场景长什么样,还能预判它的三维结构在互动之后会怎么动。

传统世界模型学的是预测未来的视频——给你下一秒的画面。但画面是像素的二维阵列,模型画出一只杯子,杯子在画面里忽大忽小,形状还会轻微变形。人眼看不出来的破绽,到了机器人手上就是灾难:抓取的位置算错了,力道给歪了。论文把这些毛病归成一句话——二维模型缺几何接地,物体尺寸波动、形状变形,学策略的时候全变成噪声。

达摩院的解法是把预测的维度补全。模型不再只预测画面,而是同时预测三样东西:彩色画面(长什么样)、深度图(每样东西离你多远)、光流(每样东西往哪动)。三个预测从同一个扩散过程里一起出来,三路结构互相锁定——画出来的深度必须和画出来的画面一致,画出来的运动必须和画面里物体的位移一致。一根筷子在画面里挪了一厘米,深度图要跟着挪,光流场要指对方向。谁错了,另外两路都能把它拽回来。

训练底座是阿里自己的视频生成模型 Wan2.2-TI2V-5B,三十层Transformer,加了三分支结构和逐帧三维旋转位置编码。喂给它的是 2.544 亿帧视频——厨房第一视角的人类操作、各种机器人的真实操作轨迹,深度和光流标签全部用现成模型打伪标签,不是人工标的。两亿多帧,手工标注想都别想。

成绩单要放平了看

六个真实世界双手操作任务,每条轨迹在实体机器人(TIANJI M6 机身,WUJI HAND 灵巧手)上跑:双手分别抓苹果和香蕉、双臂推方块、交接白菜、双臂抬西瓜毛绒玩具、盖上盖子、叠碗。

六项全部第一。叠加盖子这种精细活 65.71%,比第二名高 8.57 个百分点。抬重物 97.14%。这份成绩单在学术上是成立的。

但把整张表摊开看,故事更完整。最简单的推方块任务,π0.5 拿了 100%,达摩院 97.14%——基础任务上它不是断层领先,甚至偶尔输。它的优势集中在需要深度感的地方:叠碗、盖盖子、交接——恰恰是二维模型最容易犯几何错误的场景。而交接任务大家全灭,最高三成不到,说明这个问题对今天所有模型都还太硬,包括赢家。

表里最有信息量的一行,是拿它自己的训练底座当对照组。研究者把 Wan2.2 视频模型(只预测画面、不带深度和光流的那版)接上同一个策略接口、喂同样的机器人数据,重新比了一场:六项平均下来,完整版比纯画面版高出约九个半百分点。这是全表最干净的证据——提升不是来自更大的模型或者更多数据,就是来自「多预测了深度和运动」这一件事本身。

九赫兹是怎么来的

宣传里说九赫兹高频闭环控制。这个数字需要拆开看,论文自己也拆了。

模型每做一次完整的未来预测,要花 1.1 秒——单看这个,规划频率不到一赫兹,比传统工业控制的五百赫兹差着两个数量级。九赫兹是这样来的:模型一次预测十个动作组成的动作串,机器人在执行这十个动作的同时,显卡并行计算下一串。执行层以五十赫兹的速率查表取动作,预测层在后台慢慢想。摊下来,每 1.1 秒刷新一次动作串,每串够用 1.1 秒,等效控制频率约九赫兹。

所以严格说,「时间之眼」每秒只眨零点九次,靠动作串把眨眼间隔填满。论文在局限章节明说了:这个延迟对超高频率控制还是瓶颈。这样的坦白值得写进正文,而不是塞进脚注。

三个月前的子弹

最后是时间线。这个工作不是上周的:技术报告 7 月 8 日上线,代码和模型权重 7 月 7 日就同步开源了,仓库三个月来停在 95 个 star。九月二十九日论文更新了第二版。它最近重新进入讨论,靠的是第二版里补全的实验细节,和「世界模型该不该带几何」这个正在升温的问题。

世界模型圈子目前分两派。一派押注纯视频:像 Sora 那样把世界看成画面序列,赌「预测像素够用」。另一派认为不够:画面会撒谎,深度和运动不会。这份工作给后一派递了目前最完整的一份证据——同一个底座,带几何的版本在实体机器人上稳定赢过纯画面版本,六个任务没一个例外。

达摩院给这条路线的名字叫「从二维像素预测到物理接地的四维场景演化」。名字很长,意思可以用那颗白菜说完:知道白菜长什么样不够,你得知道它离左手多远、什么时候该松、右手该在哪个位置合拢。这些全都不是像素能直接告诉你的事。

至于什么时候机器人的交接成功率能从三成走到九成——表里那些 0% 和 2.86% 会先回答另一个问题:这个问题比想象中还要硬。


*信源:RynnWorld-4D 技术报告(arXiv 2607.06559,v2 2026-09-29,阿里达摩院×香港具身智能实验室×CUHK×湖畔实验室);代码与权重 2026-07-07 开源(alibaba-damo-academy/RynnWorld-4D,95 star);成功率主表 Table 5(TIANJI M6+WUJI HAND 实测);延迟表 Table 1(RTX 5090 FP8)。*

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

一颗白菜从左爪递到右爪,人看着都觉得理所当然——直到看见成绩单:π0.5 成功率 0%,π0 是 2.86%,表现最好的传统方法 DP 也只有 17.14%,赢家达摩院自己那套 28.57%。这帖子诚实的地方在于没给赢家涂脂抹粉:交接物体这件事,至今没人做好,而它正是论文最想赢的任务。我拿 RynnWorld-4D 技术报告(arXiv:2607.06559,一作 Haoyu Zhao,v2 是 9 月 29 日)逐格对过,主表一字不差:DP 77.14/85.71/17.14/88.57/57.14/57.14,π0 88.57/94.29/2.86/91.43/34.29/51.43,π0.5 94.29/100.00/0.00/94.29/37.14/42.86,自家 94.29/97.14/28.57/97.14/65.71/65.71。叠碗 65.71%、比 DP 高 8.57 个点,抬重物 97.14%,都对。九赫兹的来历也对:一次完整预测 1.1 秒、一把出十个动作、执行层 50 赫兹查表取现成的——论文原话是「规划频率约 0.9 赫兹,靠动作分块把等效控制频率抬到约 9 赫兹」。【直引】

有个细节值得先算一遍:这些成功率都是 35 分之几——2.86% 是一次,17.14% 是六次,28.57% 是十次。π0.5 的零分和 π0 的 2.86% 之间,隔的不是一道代沟,是一颗白菜。三十五次的样本量,让「全面领先」和「运气好一次」在表上看着差不多——这不是说结论反了,是说这行的胜负都是以颗计的。【推论】

帖子说「比传统工业控制的五百赫兹差着两个数量级」——这里把数自己算一遍:500 除于 9 等于 55.6 倍,是 1.74 个数量级,不到两个。顺带一句,500 这个数论文里也有,不过指的是机器人自己的底层接口频率——命令以 18 到 30 毫秒的延迟下发,底层接口跑 500 赫兹。方向对,小数点不买账。论文自己的表述克制得多:「九赫兹足以捕捉多数人类尺度的操作动态」,并且明说延迟对超高频率控制仍是瓶颈——这种把边界写进正文的坦白,比宣传稿里的「高频闭环」四个字值钱。【直引】

帖子没拆的是那张消融表的内部结构。完整版六项平均 74.76,纯画面版 65.24——帖子说的「高出约九个半百分点」,74.76 减 65.24 等于 9.52,这个减法精确成立。但中间还有两级:RGB 加深度已经到 71.91,加上光流才到 74.76。也就是说,几何三件套里深度干了大头(+6.67),光流是收尾的(+2.85)。「画面会撒谎,深度和运动不会」这个论断,拆开看是:深度说了大半真话,光流补完剩下的。【直引】

机制的漂亮处值得用大白话再讲一遍:模型从一张 RGB-D 图加一句语言指令出发,在同一个扩散过程里同时吐出未来的彩色画面、深度图和光流,三路结构互相锁定——画出来的深度必须和画面里的物体对得上,画出来的运动必须和画面里物体的位移对得上。一根筷子在画面里挪了一厘米,深度图要跟着挪,光流场要指对方向;谁错了,另外两路能把它拽回来。这就是「物理接地」的意思:不是三张图各画各的,是一个约束的三个视图。像素会骗人,几何不会——这话说来轻巧,做到要三路一起画、互相拽。训练还分了三阶段走——模态适配、冻结骨干的联合注意力、全参数联合微调。【直引】

六个任务也列一下,方便对表:双手分抓苹果和香蕉、双臂推方块、交接白菜、双臂抬西瓜毛绒玩具、盖盖子、叠碗。最反直觉的一行在推方块:π0.5 拿 100%,达摩院 97.14%——基础任务上它不是断层领先,甚至偶尔输;优势全集中在需要深度感的地方。换句话说,这套几何加持在「不用几何也行」的任务上几乎不显形,在「没有几何就瞎」的任务上才露牙。【直引】

训练底座也核了:Wan-2.2,三十层、每三层插一个联合注意力模块、共十个,喂进去的是 254.4M 帧第一视角人类操作加机器人操作视频,深度和光流全部用现成模型打伪标签——Depth Anything 3 出深度,两亿多帧,手工标注想都别想。伪标签这件事本身值得记一笔:这篇论文的「几何」,是另一堆模型的平均值。延迟表的家底也厚:单次前向 1.1 秒里,动作串由四步 ODE 求解器导出,命令延迟压在 18 到 30 毫秒之间——九赫兹不是玄学,是账算到毫秒算出来的。【直引】

这工作真正的位置,帖子放得很准:给「世界模型该不该带几何」这一派递了目前最完整的一份证据——同一个底座,带几何的版本在六项上全赢纯画面版,没有一个例外。白菜那一栏的 28.57% 不是败笔,是这条路还剩多少路的刻度。【推论】

下一根钉子:九赫兹是动作串拼出来的等效频率,「时间之眼」每秒只眨 0.9 次。接触丰富的任务(插、拧、倒)里,1.1 秒的 replan 延迟够不够用——论文的六项任务都还温柔,答案在更暴力的任务里。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens