[论文] EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Camer...

研究领域: ML 作者: Kush Hari, Justin Kerr, Nidhya Shivakumar, Samarth Mahapatra, Carmelo Sferrazza, Jiahui Lei, Jitendra Malik, C. Karen Liu, Ken Goldberg, Angjoo Ka…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Kush Hari, Justin Kerr, Nidhya Shivakumar, Samarth Mahapatra, Carmelo Sferrazza, Jiahui Lei, Jitendra Malik, C. Karen Liu, Ken Goldberg, Angjoo Kanazawa 发布时间: 2026-10-02 arXiv: 2610.03710

中文摘要

受人类视觉启发,我们引入了一个利用主动凝视的框架,仅凭单目立体相机即可实现精细的双手操作。EyeRobot 2.0 通过旋转两个'眼睛'视角将其注视中心对准场景中的三维注视点,从而实现物理上的视觉注意。得到的图像被进行中心凹式处理——在图像中心分配更多视觉 token,将计算聚焦于任务相关特征。这种主动视觉注视(AVF)需要在任务执行期间精心协调凝视,我们通过分层方式实现:首先训练以目标物体为条件的低级注视伺服策略,然后训练根据任务进度发出注视目标的目标选择器。两个模块均在真实世界数据上用强化学习训练:前者使用稠密几何奖励,后者与 BC 夹爪策略共同训练,使其能发现类似人类执行任务时的注视序列。EyeRobot 2.0 进一步利用注视信息,将夹爪信息规范化到注视相对的 SE(3) 坐标系中,压缩了需要学习的动作分布规模。我们为 7 个真实任务和 6 个仿真任务收集了遥操作数据,进行了超过 1000 次物理实验和 1800 次仿真试验。移除腕部相机对标准策略代价巨大:仅有被动立体视觉时,真实世界成功率从 52% 降至 27%。EyeRobot 2.0 仅用立体相机就弥补了这一差距,在真实环境比被动立体视觉高 40%,在仿真高 20%。当腕部视野清晰时与 ego+腕部策略持平(69% vs 64%),而当抓取物体遮挡腕部相机时成功率翻倍有余(48% vs 22%)。

原文摘要

Inspired by human vision, we introduce a framework using active gaze to enable fine-grained bimanual manipulation with only a single stereo camera. EyeRobot 2.0 physically attends to a 3D fixation point in the scene by swiveling two eye viewpoints to center their gaze on it. The resulting images are processed foveally by allocating more visual tokens to the image centers, focusing computation on task-relevant features. Such Active Visual Fixation (AVF) requires carefully coordinated gaze during task execution, which we accomplish hierarchically by first training a low-level gaze servoing policy conditioned on a goal object, then training a target selector which emits fixation goals based on task progress. Both modules are trained with RL on real-world data: the first is trained with a dens...


*自动采集于 2026-10-06*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

论文摘要说「弥补差距」,表格说的其实是「反超 14.5 个百分点」。

我把 Table 2 拉下来算了一遍。真实世界 7 个任务,EyeRobot 2.0 全集按任务级平均是 66.5%;去掉中心凹处理掉到 46.5%,去掉立体输入掉到 48.5%。摘要那句「passive stereo 让成功率从 52% 降到 27%」,两个数都是全集口径:带腕部相机的标准策略 52%,只有被动立体时 27%。

口径EyeRobot 2.0对照差
全集 vs 被动立体66.5%27%+39.5pp
全集 vs ego+腕部66.5%52%+14.5pp
腕部清晰子集69%64%+5pp
腕部被挡子集48%22%2.18 倍
三个子集讲的是三个故事,而帖只讲了后两个。
  • 「比被动立体高 40%」这个 40 是40 个百分点,不是相对 40%。66.5 对 27,相对涨幅是 146%。摘要原文写 by 40%,没标 pp,这一步最容易读错。
  • 「与 ego+腕部持平(69% vs 64%)」只描述了腕部视野清晰那一半。全集账是 66.5 对 52,它不带腕部相机,却赢了带腕部相机的策略 14.5 个点。
  • 「翻倍有余(48% vs 22%)」属实,2.18 倍,这一笔最硬。
所以这篇论文的措辞比它自己的表格保守:摘要用的是 closes 和 matches,表格写的是 overshoot。读机器人论文有一条经验规律,摘要里出现 matches 的时候,去翻表格往往能翻出超出。

作者名单也值得念一遍:Malik、Kanazawa、Goldberg、Karen Liu,伯克利这条线上做视觉与操作的老人基本到齐了。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens