机器人不听遥操作了:Runway 把家里拍的视频当教材
要让一个机器人学会「把易拉罐从茶几上拿起来放进垃圾桶」,最直接的办法是让人拿着手柄,一遍一遍做这件事。做到一千遍,机器人大概能学会个七成。做到一万遍,成本已经很难说清楚是多少。
目录
机器人不听遥操作了:Runway 把家里拍的视频当教材
先想一个数字。
要让一个机器人学会「把易拉罐从茶几上拿起来放进垃圾桶」,最直接的办法是让人拿着手柄,一遍一遍做这件事。做到一千遍,机器人大概能学会个七成。做到一万遍,成本已经很难说清楚是多少。
然后同一个人在厨房里拍视频。一天三十分钟。他把罐子扔进垃圾桶,把毛巾搭上椅背,又把水壶从灶台挪到水槽。没人给他钱,没人给他任务清单,也没人检查他拍的对不对。
Runway 在 9 月 30 日旧金山举行的第一届 Runway AI Summit 上,把这两堆东西摆到了同一张桌子上,然后宣布了一件让机器人圈安静了几秒的事:他们不打算主要靠遥操作数据训机器人。
一个视频公司的越界
先说清 Praxis-1 是什么。
Runway 靠生成视频起家,核心资产是 GWM Worlds 这类大规模视频预训练模型。Praxis-1 复用同一套底座,训出一个可以直接输出机器人动作的策略模型。Runway 研究团队自己的说法是「world action model」,中文可以译成世界动作模型。
关键区别在于数据来源。CTO Kamil Sindi 对 The Robot Report 说得很直白:多数机器人策略都卡在机器人数据上,这些数据又稀缺又贵;而且性能会随视频量提升,所以它的天花板由能学到多少视频决定,而不是有多少条机器人示范。
这句话点的是整个行业的痛处。遥操作示范是当下几乎所有通用机器人策略的必需输入,它贵,慢,而且高度依赖采集场地。一家做视频生成的公司说这套东西能被视频替代,等于说自己在跟整个数据采集产业链抢饭吃。
那个被反复引用的 16.1
最能说明问题的数字来自 Robotics & Automation News 做的一组对照实验。
两组策略,一组用普通互联网视频做预训练,另一组用遥操作采集的机器人视频做预训练。然后都在真机上测最终放置误差。
结果是 16.1 厘米对 16.0 厘米。
差 1 厘米。Runway 自己承认这个差距在统计上不显著。换句话说,在预训练这一环,家庭视频和机器人视频几乎分不出高下。后面还有一层,微调之后误差降到大约 12 厘米,两条路线都降。
这组数字的价值在于它把「机器人数据不可替代」这个前提拿掉了,领先与否反倒次要。当然,「不显著」也可以理解成「差不多但样本量不足以证明等价」。论文没有给出置信区间,这两种读法都站得住。
0.95 是个更值得盯的数字
Runway 另外报了一个数:在自家世界模型仿真里跑策略,与真机实测结果的相关性达到 0.95。公司的说法是这比基于三维重建的技术路线更省。
这条比 16.1 厘米更重要。机器人训练的真正成本不只在数据采集,还在迭代周期。改一个策略要在真机上跑一遍真机,一次几十分钟起步,硬件还有磨损风险。如果仿真能当得起 0.95 的相关,那策略筛选就可以全在世界里做,只把最后的少数候选搬到真机。
Runway 提到的那条更长的路径是 Solaris 和 GWM Worlds 2 这类实时交互视频模型,思路是先生成一个物理上说得通的数字环境,再让智能体在里面练。
不过这 0.95 也是公司自报,而且是在自家仿真里测的。用自家仿真预测自家策略的表现,这个闭环的说服力天然打折。第三方复现目前没有。
三家伙伴,和一个不肯退让的对手
Praxis-1 目前在三家初创公司手上测:
- Noble Machines,双臂操作
- Standard Bots,RO1 六轴机械臂
- Ultra,移动底盘
更有意思的对照在隔壁。FieldAI 在 9 月刚以 100 亿美元估值融了一轮,其核心主张恰恰是机器人不该依赖互联网视频。Runway 的整条论证就是互联网视频是对的。
两家用钱表态的实验室,对同一个问题给出了相反的答案,而且都在烧钱。这是一组正在跑的对照实验,谁先跑出通用能力,答案就归谁。行业在这里是受益的,无论哪边赢。
Runway 谈开放权重时用的是美国物理 AI 领导力这套说辞。翻译成工程语言:对没有模型训练预算的硬件厂商和高校组,从零训练到微调他人预训练的门槛,差着数量级。
为什么这件事现在才发生
Runway 的路径和语言模型的发展顺序几乎一致:先在海量文本上预训练,再在具体任务上微调。机器人正在走同一条路,只是晚几年。
中间还有一条推力。示范数据不只稀缺,它还会被越来越多生成出来。视频本来就在被 AI 合成,这意味着机器人的预训练料源正在从「有限的人类记录」转向「近乎无限的可生成数据」。Runway 不用提这件事,它自己的业务就是那个生成器。
也有几个必须说清楚的限制。
权重还没放出来,说是「未来几个月」,不是现在。0.95 与 16.1 全部是公司自报,没有第三方复现。93 个评估对只覆盖了一批任务,跨本体迁移的失败案例没有披露。示范任务里包含装礼品袋这类柔性物体操作,公司自己也点出这正是刚体仿真器最容易崩的地方。
最后一条是所有机器人论文的通病:演示视频不等于统计量。32 步家务任务跑通一次和跑通一百次,是两件事。
一道正在分岔的题
Runway 说 Praxis-1 是开放权重的首批三家伙伴在测,公开要等几个月。这几个月里,最值得看的是 FieldAI 的出货量,Runway 的进度条排在后面。
如果大量本体厂商在未来一年里开始微调而不是从头训,Runway 这条路就通了。如果大家还是在买示范数据,FieldAI 就赢了。
这两种未来现在都还开着。机器人领域这种「两个团队同时押相反方向」的时刻不多见,值得盯住。
信源:Runway 官方公告与研究博客(2026-09-30 至 10-02)、The Robot Report 访谈(10-02)、Robotics & Automation News 对照实验、AlphaSignal、SIngularity.Kiwi 汇总。
限定:16.1 对 16.0 厘米的对照实验由第三方媒体操作、公司提供模型,93 个评估对,原始数据与置信区间未公开;0.95 相关性为 Runway 自报,在自家仿真内测得;权重与代码尚未公开;FieldAI 估值与主张来自该公司公开表述,未核到一手文件。