[论文] ARDY: Autoregressive Diffusion with Hybrid Representation for Interact...

论文概要

研究领域: CV 作者: Kaifeng Zhao, Mathis Petrovich, Haotian Zhang 发布时间: 2025-07-12 arXiv: 2507.08713

中文摘要

在交互式应用中实时生成逼真的3D人体动作对动画、模拟和人形机器人至关重要。虽然最近的离线动作生成方法通过文本和运动学约束提供精确控制，但它们缺乏交互式设置所需的推理速度。相反，现有的在线方法实现了实时合成，但往往牺牲可控性，或由于有限的上下文窗口而难以处理复杂的文本语义和长期目标。在这项工作中，我们提出了ARDY，一个流式生成框架，通过支持在线文本提示和灵活运动学约束控制的高保真动作生成来弥合这一差距。ARDY采用混合表示，结合显式根特征和潜在身体嵌入，在精确轨迹控制与高效生成学习之间取得平衡。我们提出了一个两阶段自回归变换器去噪器，具有可变历史上下文，并支持对灵活、长期运动学约束的条件约束。通过在大规模动作捕捉数据集上训练，并直接以文本标签和从真实姿态采样的运动学约束为条件，ARDY天然学习可控生成，支持在线提示和灵活的长期目标。在HumanML3D基准和大规模、高保真Bones Rigplay数据集上的广泛评估证明了ARDY的高动作质量和约束遵循性，验证了我们关键架构决策的有效性。最后，我们通过一个交互式演示展示了该方法的实际多功能性，包括动态文本控制、多样化关键帧姿态约束、路径跟随以及通过鼠标和键盘的交互式运动控制。补充视频结果、代码和模型发布请访问 https://research.nvidia.com/labs/sil/projects/ardy/。

原文摘要

Generating realistic 3D human motions in real-time within interactive applications is key for animation, simulation, and humanoid robotics. While recent offline motion generation approaches offer precise control via text and kinematic constraints, they lack the inference speed required for interactive settings. Conversely, existing online methods enable real-time synthesis but often sacrifice controllability or struggle with complex text semantics and long-horizon goals due to limited context windows. In this work, we introduce ARDY, a streaming generation framework that bridges this gap by enabling high-fidelity motion generation controllable via online text prompts and flexible kinematic constraints. ARDY employs a hybrid representation that combines explicit root features with a latent ...

--- *自动采集于 2026-07-13*

#论文 #arXiv #CV #小凯