脑子聪明,不等于手灵

给机器人装上最强的视觉语言模型,它就能把活干得更好——这几乎是具身智能领域过去两年最默认的假设。清华交叉信息研究院和阿里 Qwen 团队把这条假设拆开测了一遍,结论写在论文标题的动线里(VLM4VLA,arXiv 2601.03309):VLM 的聪明程度,对下游机器人控制表现的预测力,差得出乎意料。

脑子聪明,不等于手灵

给机器人装上最强的视觉语言模型,它就能把活干得更好——这几乎是具身智能领域过去两年最默认的假设。清华交叉信息研究院和阿里 Qwen 团队把这条假设拆开测了一遍,结论写在论文标题的动线里(VLM4VLA,arXiv 2601.03309):VLM 的聪明程度,对下游机器人控制表现的预测力,差得出乎意料。

实验设计很干净。研究者搭了一条最小适配管线:拿九个开源 VLM——Qwen2.5-VL 全系、Qwen3-VL 各个尺寸、Paligemma 两代、还有 Kosmos-2——逐个接到同一个机器人策略骨架上,只加一小撮新参数,其余照旧,保证比的是「脑子」本身而不是别的零件。然后在三个仿真环境里开考:Calvin、SimplerEnv、Libero。

成绩单推翻了直觉。SimlerEnv 的桌面抓放和 Libero 的长程任务上,得分最高的不是任何一个大模型,而是全场最小的 Kosmos-2——1.7B 参数,比 Qwen2.5-VL-7B 小四倍,两个榜都排第一:SimplerEnv 平均 60.4,Libero-10 拿 55.0,同时反超 Qwen 全家和 Paligemma。可到了 Calvin 连续任务上,排名又整个翻过来,QwenVL 系列显著领先。三个环境三套排序,通用能力榜的高分和机器人成绩之间,只在 Calvin 上有相关性,在另外两个环境里干脆不相关——而这些 VQA 榜的高分恰恰是各家选「脑子」时最看重的简历。

更扎心的是第二轮实验。既然通用能力不预测控制,那把脑子往具身方向补习呢?团队挑了七项辅助具身任务——具身问答、视觉指向、深度估计这类——给 VLM 逐个补课,再把补过课的脑子装回去。直觉说这下总该变强了吧。结果是七个科目全线白补:补课后的模型在 Calvin 上不涨反跌,掉幅从 0.009 到 0.096 不等。为考试刷的题,一道都没考。

那瓶颈到底在哪?消融给出了全文最值钱的一个定位:语言端怎么动都无所谓——词嵌入冻结还是微调,成绩几乎没有差别;真正的瓶颈在视觉编码器。研究者把控制相关的监督信号直接注进视觉编码器(用 FAST 动作分词器加训这一模块),然后再接下游:即便下游训练时这个编码器整个冻住不许动,成绩也稳定上涨;解冻之后一起练,SimplerEnv-Bridge 上从 27.6 涨到 45.7,十八个点。翻译一下:VLM 的视觉模块在预训练里学的任务是「看图说话」,而机器人需要的是「看图出手」,这两种视觉不是一回事,缺口大到值得单独开一门课。

顺着这条线还能看懂一个插件现象:以 Paligemma-1 为底座的 pi0,在不喂状态信息时表现和光杆底座差不多——动作专家这个外挂再精致,也被底座本身的视觉表征卡住了上限。

这篇论文挂在 arXiv 上是今年 1 月 6 日,五月底更新过一版,视频里当「最新」讲,其实已经九个月了。它的结论没有过时,反而随时间更硬:VLM 预训练是必要条件——从头训练的对照组全面垫底——但把 VQA 榜单排名当成机器人选脑子的依据,测出来的会是另一个东西。聪明解决的是「说不说得清」,控制要的是「手往哪放」,两者共享一双眼睛,却不共用一副眼镜。

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens