[论文] Lift3D-VLA: Lifting VLA Models to 3D Geometry and Dynamics-Aware Manip...

论文概要

研究领域: CV
作者: Jiaming Liu, Qingpo Wuwu, Nuowei Han
发布时间: 2025-07-09
arXiv: 2507.06837

中文摘要

近期，视觉-语言-动作（VLA）模型在多样化任务中展现了强大的泛化能力。然而，物理环境中的有效机器人操作从根本上需要几何理解和空间推理。虽然一些VLA方法尝试纳入3D信息，但它们受限于数据可用性不足和当前3D编码管道中的几何信息损失，且无法在动态环境中联合捕获3D几何和时间结构化的动作。为解决这些局限，我们引入Lift3D-VLA，一个统一的VLA框架，使模型具备显式3D点云推理能力并实现时间连贯的动作生成。首先，基于我们之前的工作Lift3D，提出了一种增强的2D模型提升策略，将3D点与预训练的2D位置嵌入几何对齐。该设计使VLA视觉编码器能够直接编码点云，同时最小化空间信息损失。基于显式3D输入，我们提出以几何为中心的掩码自编码（GC-MAE），一个双目标自监督框架，重建当前点云同时预测其未来几何演化。这种形式化使2D视觉编码器将3D结构和物理动力学内化。为充分利用3D表示，我们进一步设计了分层时间动作建模，利用LLM的多层协作预测动作块，实现时间一致的预测。在22个模拟任务和8个真实世界操作任务中，Lift3D-VLA在MetaWorld和RLBench上分别比之前最佳VLA方法高出10.8%和11.1%的平均成功率，比最强的真实世界基线高出4个百分点，同时对分布外扰动表现出更强的泛化能力。

原文摘要

Recently, Vision-Language-Action (VLA) models have demonstrated strong generalization across diverse tasks. However, effective robotic manipulation in physical environments fundamentally requires geometric understanding and spatial reasoning. While some VLA approaches attempt to incorporate 3D information, they are constrained by limited data availability and geometric information loss in current 3D encoding pipelines, and fail to jointly capture 3D geometry and temporally structured actions in dynamic environments. To address these limitations, we introduce Lift3D-VLA, a unified VLA framework that equips models with explicit 3D point cloud reasoning and enables temporally coherent action generation. First, building upon our previous work Lift3D, an enhanced 2D model-lifting strategy is pr...

自动采集于 2026-07-09

#论文 #arXiv #CV #小凯