机器人交接一颗白菜,难倒一片大模型
一个具体场景:工厂流水线上,机器人的左手抓起一颗白菜,递给右手,右手接住,放到指定位置。听起来是最基本的配合动作。在阿里达摩院最近公布的评测里,这件事把一排知名模型打趴下了:π0.5 的成功率是 0%,π0 是 2.86%,表现最好的传统方法 DP 也只有 17.14%。
机器人交接一颗白菜,难倒一片大模型
一个具体场景:工厂流水线上,机器人的左手抓起一颗白菜,递给右手,右手接住,放到指定位置。听起来是最基本的配合动作。在阿里达摩院最近公布的评测里,这件事把一排知名模型打趴下了:π0.5 的成功率是 0%,π0 是 2.86%,表现最好的传统方法 DP 也只有 17.14%。
达摩院自己那套模型,28.57%。
对,你没看错,赢家也只有不到三成。交接物体这件事至今没人做好,而这正是他们论文里最想赢的那个任务。
先说这份工作是什么
论文叫 RynnWorld-4D,2026 年 7 月 8 日放出技术报告,作者来自阿里达摩院、香港具身智能实验室、港中文和湖畔实验室。一句话说清它想干什么:让机器人不只知道眼前的场景长什么样,还能预判它的三维结构在互动之后会怎么动。
传统世界模型学的是预测未来的视频——给你下一秒的画面。但画面是像素的二维阵列,模型画出一只杯子,杯子在画面里忽大忽小,形状还会轻微变形。人眼看不出来的破绽,到了机器人手上就是灾难:抓取的位置算错了,力道给歪了。论文把这些毛病归成一句话——二维模型缺几何接地,物体尺寸波动、形状变形,学策略的时候全变成噪声。
达摩院的解法是把预测的维度补全。模型不再只预测画面,而是同时预测三样东西:彩色画面(长什么样)、深度图(每样东西离你多远)、光流(每样东西往哪动)。三个预测从同一个扩散过程里一起出来,三路结构互相锁定——画出来的深度必须和画出来的画面一致,画出来的运动必须和画面里物体的位移一致。一根筷子在画面里挪了一厘米,深度图要跟着挪,光流场要指对方向。谁错了,另外两路都能把它拽回来。
训练底座是阿里自己的视频生成模型 Wan2.2-TI2V-5B,三十层Transformer,加了三分支结构和逐帧三维旋转位置编码。喂给它的是 2.544 亿帧视频——厨房第一视角的人类操作、各种机器人的真实操作轨迹,深度和光流标签全部用现成模型打伪标签,不是人工标的。两亿多帧,手工标注想都别想。
成绩单要放平了看
六个真实世界双手操作任务,每条轨迹在实体机器人(TIANJI M6 机身,WUJI HAND 灵巧手)上跑:双手分别抓苹果和香蕉、双臂推方块、交接白菜、双臂抬西瓜毛绒玩具、盖上盖子、叠碗。
六项全部第一。叠加盖子这种精细活 65.71%,比第二名高 8.57 个百分点。抬重物 97.14%。这份成绩单在学术上是成立的。
但把整张表摊开看,故事更完整。最简单的推方块任务,π0.5 拿了 100%,达摩院 97.14%——基础任务上它不是断层领先,甚至偶尔输。它的优势集中在需要深度感的地方:叠碗、盖盖子、交接——恰恰是二维模型最容易犯几何错误的场景。而交接任务大家全灭,最高三成不到,说明这个问题对今天所有模型都还太硬,包括赢家。
表里最有信息量的一行,是拿它自己的训练底座当对照组。研究者把 Wan2.2 视频模型(只预测画面、不带深度和光流的那版)接上同一个策略接口、喂同样的机器人数据,重新比了一场:六项平均下来,完整版比纯画面版高出约九个半百分点。这是全表最干净的证据——提升不是来自更大的模型或者更多数据,就是来自「多预测了深度和运动」这一件事本身。
九赫兹是怎么来的
宣传里说九赫兹高频闭环控制。这个数字需要拆开看,论文自己也拆了。
模型每做一次完整的未来预测,要花 1.1 秒——单看这个,规划频率不到一赫兹,比传统工业控制的五百赫兹差着两个数量级。九赫兹是这样来的:模型一次预测十个动作组成的动作串,机器人在执行这十个动作的同时,显卡并行计算下一串。执行层以五十赫兹的速率查表取动作,预测层在后台慢慢想。摊下来,每 1.1 秒刷新一次动作串,每串够用 1.1 秒,等效控制频率约九赫兹。
所以严格说,「时间之眼」每秒只眨零点九次,靠动作串把眨眼间隔填满。论文在局限章节明说了:这个延迟对超高频率控制还是瓶颈。这样的坦白值得写进正文,而不是塞进脚注。
三个月前的子弹
最后是时间线。这个工作不是上周的:技术报告 7 月 8 日上线,代码和模型权重 7 月 7 日就同步开源了,仓库三个月来停在 95 个 star。九月二十九日论文更新了第二版。它最近重新进入讨论,靠的是第二版里补全的实验细节,和「世界模型该不该带几何」这个正在升温的问题。
世界模型圈子目前分两派。一派押注纯视频:像 Sora 那样把世界看成画面序列,赌「预测像素够用」。另一派认为不够:画面会撒谎,深度和运动不会。这份工作给后一派递了目前最完整的一份证据——同一个底座,带几何的版本在实体机器人上稳定赢过纯画面版本,六个任务没一个例外。
达摩院给这条路线的名字叫「从二维像素预测到物理接地的四维场景演化」。名字很长,意思可以用那颗白菜说完:知道白菜长什么样不够,你得知道它离左手多远、什么时候该松、右手该在哪个位置合拢。这些全都不是像素能直接告诉你的事。
至于什么时候机器人的交接成功率能从三成走到九成——表里那些 0% 和 2.86% 会先回答另一个问题:这个问题比想象中还要硬。
*信源:RynnWorld-4D 技术报告(arXiv 2607.06559,v2 2026-09-29,阿里达摩院×香港具身智能实验室×CUHK×湖畔实验室);代码与权重 2026-07-07 开源(alibaba-damo-academy/RynnWorld-4D,95 star);成功率主表 Table 5(TIANJI M6+WUJI HAND 实测);延迟表 Table 1(RTX 5090 FP8)。*