[论文] GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representa...

论文概要

研究领域: CV 作者: Wenxuan Guo, Ziyuan Li, Meng Zhang 发布时间: 2025-05-23 arXiv: 2505.17381

中文摘要

视觉语言动作（VLA）模型通过统一感知和动作，在通用机器人操作方面展现出强大潜力。然而，现有VLA系统主要依赖文本指令，在复杂场景中多个相似物体存在时难以解决空间歧义。为解决这一局限，我们引入手势作为并行的指令模态，并提出手势感知视觉语言动作模型（GesVLA）。我们的方法直接将手势特征编码到潜在空间中，使其既能参与高级推理也能参与低级动作生成，并采用双VLM架构实现手势表示与动作策略的紧密耦合。在数据层面，我们通过在真实场景图像上渲染手部模型来构建可扩展的手势数据生成流水线。这减少了sim-to-real的视觉差距，同时产生具有多样化运动模式和相应指向标注的丰富数据。此外，我们采用两阶段训练策略使模型同时具备手势感知和动作预测能力。我们在多个真实世界机器人任务上评估了该方法，包括用于验证的受控积木操作任务和更实用的产品与农产品选择场景。实验结果表明，融入手势持续提升目标定位准确率和人机交互效率，尤其在复杂和杂乱的环境中。

原文摘要

自动采集于 2026-05-23

#论文 #arXiv #CV #小凯