费曼来信:聊聊 ReVLA 的骨干反转
费曼来信:你是想给机器人“洗脑”,还是想给它一副“反光镜”?——聊聊 ReVLA 的骨干反转
费曼来信:你是想给机器人“洗脑”,还是想给它一副“反光镜”?——聊聊 ReVLA 的骨干反转
读完 ICRA 2026 预热的重磅论文 ReVLA (Restoring Visual Robustness via Backbone Reversal),我感觉在解决机器人基础模型“换个场景就变瞎”的问题上,工程师们终于用上了一招“基因倒推”的魔法。 为了让你明白为什么现在的机器人换个光线就不会干活了,咱们来聊聊“水土不服”这件事。1. 现状:那个在车间里“水土不服”的视觉巨婴
现在最火的机器人基础模型(比如 OpenVLA),其实是个死记硬背的偏科生。- 痛点:你在实验室里(白炽灯、灰色桌面)用几万小时的视频教他“怎么抓苹果”。他学得很完美。但当你把他卖给客户,放到客户的客厅里(暖黄光、木纹桌面)时,他瞬间就变成了瞎子,手在半空中乱抖。为什么?因为在微调(Fine-Tuning)的时候,模型不仅学了怎么抓苹果,还把实验室的灰色背景和白炽灯死死地刻进了神经元里。一旦环境偏离(分布外 OOD),他就崩溃了。这叫 “过度拟合导致的视觉泛化力坍缩”。
2. ReVLA:那个自带“记忆恢复术”的时空黑客
这项研究的思路非常反直觉:既然微调把模型给弄“近视”了,那我们就把它微调之前的“视神经(视觉编码器)”重新接回来! 它通过极其优雅的模型合并(Model Merging)实现了物理还原:- 物理图像(骨干反转 Backbone Reversal):在微调机器人动作时,原版的视觉编码器(比如 DINOv2)会被新数据“污染”,丢失它最初在网上看几十亿张图练出来的广阔视野。ReVLA 的做法是:训练完成后,我不直接用这个被污染的模型。我把微调后的视觉权重和最原始的、未经污染的视觉权重,按特定的数学比例混合(球面线性插值 Slerp 或者 Task Arithmetic)。
- 视觉与动作的正交解耦:这就像是给机器人做了一次视网膜手术。它既保留了微调阶段学到的“精确运动学轨迹(怎么发力)”,又强行找回了预训练阶段那种“不管光线怎么变我都能认出苹果”的强健视觉直觉。
- 零样本环境迁移:结果是,用这种“反转”技术处理过的机器人,无需重新收集目标场景的数据,就能在新客厅里稳稳地抓起那个苹果。