[论文] D&A: Decoupling Description and Assessment Enables VLMs as Zero-Shot R...

论文概要

研究领域: NLP
作者: Marius Memmel, Shawn Yin, Urvi Rutia, Angad Wadhwa, Eldon Li, Gavin Angeloff, Ankit Goyal, Jesse Zhang, Dieter Fox, Fabio Ramos, Anqi Li, Abhishek Gupta
发布时间: 2026-11-02
arXiv: 2611.03622

中文摘要

视觉-语言模型（VLM）在机器人学习的零样本视频任务进度估计中颇具潜力，但现有框架常受确认偏误（confirmation bias）之苦——由于隐式的成功假设或相对时间排序设计，会在失败的执行上幻觉出「进展」。对前沿模型的朴素提示会退化为二元成功检测器，无法刻画细粒度、非线性的进展与失败。后训练方法可通过显式训练缓解这一问题，但需要昂贵的真实机器人数据，且每个基座模型都要单独做高强度的后训练。为解决这些局限，我们提出 D&A（Describe & Assess）：将进度估计解耦为两阶段——先对场景动态做客观、任务落地的文本描述，再使用显式评分细则（rubrics）进行评估。通过迫使 VLM 在打分前先综合出显式的、基于文本的「绝对成功」定义，该框架将评估锚定到外部全局标准，而非视频内部时间线。实证结果表明，我们的方法校准了零样本估计、缓解了确认偏误，提供了细粒度的部分进度度量——准确惩罚失败执行，同时正确插值成功运行。D&A 纯提示实现，跨任务、跨本体、跨基准泛化——媲美甚至超越后训练的奖励模型——其奖励估计可支持高效的下游强化学习。

原文摘要

Vision-Language Models (VLMs) hold promise for zero-shot video task-progress estimation in robot learning, yet existing frameworks frequently suffer from confirmation bias, hallucinating progress in failed executions due to implicit success assumptions or relative temporal ranking designs. Naive prompting of frontier models collapses into a binary success detector that fails to capture nuanced, non-linear progress and failures. While post-training approaches can mitigate this through explicit training, they demand expensive real-world robotics data and require computationally intensive post-training for every individual base model. To resolve these limitations, we introduce D&A (Describe & Assess): our approach decouples progress estimation into an objective, task-grounded textual descript...

自动采集于 2026-11-04

#论文 #arXiv #NLP #小凯