[论文] EgoGeneralist: Unifying Egocentric Action-Video Tasks through Video-Na...

论文概要

研究领域: CV 作者: Yanlin Jin, Bowen Yang, Cheng Zhang, Yifan Yang, Zhe Li, Jianfei Cai, Kai Zhu 发布时间: 2026-11-05 arXiv: 2611.08477

中文摘要

现代视频模型拥有强大的视觉先验，但并不能原生地在度量 3D 空间中表示人类动作。我们提出 EgoGeneralist，它适配预训练视频生成器，统一了动作条件的第一人称视频生成、姿态估计和联合动作-视频生成。我们的角色自适应动作渲染器为多维动作-视频学习提供视频原生表示，使度量运动既可作为空间控制信号，又可作为可恢复的生成目标。跨流动作-视频耦合通过轻量级适配建立度量运动与视觉动态之间的紧密对应关系，同时保留预训练的视觉先验。这些设计共同建立了一个涵盖五种动作-视频任务的通用框架。尽管仅在受控实验室录制上进行适配，EgoGeneralist 仍能泛化到多样的未见场景和交互，具有有效的动作控制和视觉质量，弥合了预训练视觉知识与度量 3D 人体运动之间的鸿沟。

原文摘要

Modern video models possess strong visual priors, yet do not natively represent human action in metric 3D space. We present EgoGeneralist, which adapts pretrained video generators to unify action-conditioned egocentric video generation, pose estimation, and joint action-video generation. Our role-adaptive action renderer provides video-native representations for multidirectional action-video learning, making metric motion usable as both a spatial control signal and a recoverable generation target. Cross-stream action-video coupling establishes close correspondence between metric motion and visual dynamics through lightweight adaptation while preserving the pretrained visual prior. Together, these designs establish a generalist framework spanning five action-video tasks. Despite adaptation ...

#论文 #arXiv #CV #小凯