[论文] Multimodal Embodied Agents: A Unified Capability-centric Perspective f...

论文概要

研究领域: CV 作者: Yanzhe Chen, Ziyi Yang, Jifeng Zhu, Qiming Huang, Ruihe An, Peiyao Xu, Hesen Yang, Runda Liu, Chang Gong, Zhijun Cao, Zechen Bai, Wenzheng Zeng, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Kevin Qinghong Lin, Mike Zheng Shou 发布时间: 2026-10-21 arXiv: 2610.30108

中文摘要

多模态智能体（MMA）通过推理、记忆、工具和反馈维持交互，最典型的是计算机使用智能体；而机器人系统（RS）在物理动力学下耦合感知与驱动。我们将多模态具身智能体（MMEA）定义为有目标导向的系统，将多模态任务推理与物理动作耦合，并从结果的反馈中修正决策。这引出一个核心问题：当多模态智能体从计算机使用转向机器人使用时，什么会发生变化？我们引入 PAPAV——一个统一的以能力为中心的框架，包含五个反复出现的功能：感知当前状态、预测动作效果、规划可行路径、通过界面或身体执行动作、验证结果。这些能力按功能而非架构定义，使 PAPAV 能够识别这三类系统的共性，并比较 MMEA 与 MMA 和 RS 的差异。五种物理约束——从部分可观测到结果不可验证——使得预先确定的选择更少，逆转错误的空间也更小。在 64 个基准中，显式评估集中在执行上；仅 5 个评估预测，3 个评估验证，使得这两项能力在很大程度上隐藏在任务成功率之后。这些约束也框定了我们识别的开放挑战。PAPAV 因此为设计可靠的物理智能体提供了共同基础，支持跨越全部五项能力而非仅任务成功率的进展度量。

原文摘要

Multimodal agents (MMAs) sustain interaction through reasoning, memory, tools, and feedback, most visibly as computer-use agents, while robotic systems (RSs) couple sensing and actuation under physical dynamics. We define multimodal embodied agents (MMEAs) as goal-directed systems that couple multimodal task reasoning with physical action and revise decisions from the resulting feedback. This raises a central question: what changes when a multimodal agent moves from computer-use to robot-use? We introduce PAPAV, a unified capability-centric framework of five recurring functions: Perceive the current state, Anticipate action effects, Plan a feasible course, Act through an interface or body, and Verify the outcome. Defined by function rather than architecture, these capabilities let PAPAV id...

#论文 #arXiv #CV #小凯