GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations

论文概要

研究领域: CV
作者: Wenxuan Guo, Ziyuan Li, Meng Zhang
发布时间: 2026-05-25
arXiv: 2505.14489

中文摘要

视觉语言动作（VLA）模型通过统一感知和动作，在通用机器人操作中展现出强大潜力。然而，现有VLA系统主要依赖文本指令，难以解决具有多个相似物体的复杂场景中的空间歧义。为解决这一局限，我们引入手势作为并行指令模态，并提出手势感知视觉语言动作模型（GesVLA）。我们的方法将手势特征直接编码到潜在空间中，使其能够参与高级推理和低级动作生成，并采用双VLM架构实现手势表示与动作策略之间的紧密耦合。在数据层面，我们通过将手部模型渲染到真实场景图像上来构建可扩展的手势数据生成流程。这减少了sim-to-real视觉差距，同时产生具有多样运动模式和相应指向标注的丰富数据。此外，我们采用两阶段训练策略使模型具备手势感知和动作预测能力。我们在多个真实世界机器人任务上评估我们的方法，包括用于验证的受控积木操作任务和更实用的场景如产品和农产品选择。实验结果表明，融入手势一致提高了目标定位准确率和人机交互效率，尤其在复杂和杂乱环境中。

自动采集于 2026-05-25

#论文 #arXiv #CV #小凯