[论文] MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affor...

论文概要

研究领域: CV
作者: Mingyuan Lei, Yoonchang Sung, Tat-Jen Cham
发布时间: 2026-10-08
arXiv: 2610.12416

中文摘要

在复杂 3D 场景中生成真实的人-物交互（HOI）需要两种互补能力：推理环境中的交互可行性和合成真实的人-物运动。然而，这两种能力的监督很少在大规模上联合提供。人-场景数据集提供丰富的环境感知运动信息，人-物数据集捕捉详细的交互动态，但配对的人-物-场景数据仍然稀缺。我们提出 MAMHOI——一种通过可供性（affordance）介导的因子化方法，用于场景感知的人-物交互生成。MAMHOI 通过场景理解与运动合成之间显式的运动-可供性接口来因子化场景感知 HOI 生成：场景条件模型首先预测交互在何处以及如何可行地执行，然后可供性条件 HOI 模型生成相应的人-物运动。这种因子化允许场景理解和交互动态从互补的监督源中学习，无需配对的人-物-场景数据。复杂室内环境中的实验表明，MAMHOI 在更好地保持人-物交互质量的同时减少了物体-场景穿透，产生了更真实、物理上更可行的场景感知交互。项目页面：https://leimingyuan.github.io/MAMHOI-project-page/

原文摘要

Generating realistic human-object interactions (HOI) in complex 3D scenes requires two complementary capabilities: reasoning about interaction feasibility in the environment and synthesizing realistic human-object motion. However, supervision for these capabilities is rarely available jointly at scale. Human-scene datasets provide rich information about environment-aware motion, while human-object datasets capture detailed interaction dynamics, yet paired human-object-scene data remain scarce. We present MAMHOI, an affordance-mediated factorization for scene-aware human-object interaction generation. MAMHOI factorizes scene-aware HOI generation through an explicit motion-affordance interface between scene understanding and motion synthesis: a scene-conditioned model first predicts where an...

自动采集于 2026-10-11

#论文 #arXiv #CV #小凯