[论文] World In-Context Learning for Agentic Robot Manipulation

论文概要

研究领域: CV 作者: Heng Fang, Zehui Guo, Yuehan Zhang, Mingyang Du, Dingkang Liang 发布时间: 2026-11-09 arXiv: 2611.12885

中文摘要

训练好的动作策略将操作技能写入网络权重，使所学内容与训练分布紧密绑定。上下文学习（ICL）避免了这种耦合，但一直未能匹敌训练策略——因为在另一个场景中录制的示范无法提供机器人当前面对世界的反馈。我们观察到，智能体在上下文中学到的是语义信息——任务步骤与物体角色，而非视觉外观——因此在一个世界中收集的经验可以迁移到另一个世界。基于这一洞察，我们提出 World In-Context Learning（WICL）范式：冻结模型从示范出发，在模拟器等世界中排练任务，将反馈写入上下文而非权重。我们构建了实现 WICL 的模块化基础设施 RoboScript。从单一示范出发，RoboScript 通过模拟中的排练学习每个任务，将所学知识冻结为任务记忆，并在新场景中部署——数据隔离机制确保每个部署输入都可在真实机器人上获取。在 RoboTwin 2.0 全部 50 个任务上，RoboScript 以每个任务一个示范、零梯度更新，在干净与随机设置下达到 83.4% 平均成功率，超越最强训练动作策略逾 20 个百分点。该方法可跨视觉分布泛化，能通过反思自我改进，随基础模型扩展而增强，并通过跨本体记忆适配迁移至物理双臂机器人。当世界进入闭环，机器人可以在上下文中学会操作任务，效果不亚于在权重中学习。代码已开源：https://github.com/ArcheOne-AI/RoboScript

原文摘要

Trained action policies write manipulation skill into network weights, tying what is learned to the distribution it is learned from. In-context learning (ICL) avoids this coupling but has not matched trained policies, because a demonstration recorded in another scene carries no feedback from the world the robot currently faces. We propose World In-Context Learning (WICL), a paradigm in which a frozen model starts from a demonstration, rehearses the task in a world such as a simulator, and writes the feedback into its context rather than its weights.

#论文 #arXiv #CV #小凯