[论文] Latent Dynamics for Full Body Avatar Animation

论文概要

研究领域: CV 作者: Shichong Peng, Chengxiang Yin, Fei Jiang 发布时间: 2025-05-20 arXiv: 2505.15980

中文摘要

基于神经渲染的姿势驱动全身虚拟形象产生被捕获主体的高质量新视角。然而宽松衣物和其他动态元素以姿势无法解释的方式变形：相同姿势可对应许多不同状态，因为其运动依赖历史、惯性和接触。显式模拟和分层衣物方法可建模这种动态，但它们要么需要原始多视角捕获不自然提供的专用衣物模板，要么需要非平凡运行时成本的测试时物理模拟器。另一并行工作学习避免显式衣物层的数据驱动衣物虚拟形象。这些方法添加辅助隐变量以捕获姿势之外的变异；在推理时，它们固定它、从姿势回归它或从训练数据检索它，而不显式建模隐变量如何随其自身动态演化。此外，即使在宽松衣物的日常运动中，现有架构也常难以捕获细粒度细节，产生模糊渲染和时间伪影。我们通过基于transformer的解码器和捕获驱动信号之外时间外观和几何变化的动态残差隐变量增强姿势条件3D高斯虚拟形象。在推理时，学习的隐动态模型从短姿势历史和前一个隐状态演化残差隐变量。模型将每次更新分解为驱动、恢复和耗散力，产生时间一致、历史相关的展开，增加成本可忽略。不同初始条件产生多样但合理的运动轨迹，力分解暴露如刚度等控制。在九个多样宽松衣物的日常运动捕获序列上，定量指标和感知用户研究表明动画质量优于近期数据驱动基线。

原文摘要

Pose-driven full-body avatars built on neural rendering produce high-quality novel views of a captured subject. Yet loose clothing and other dynamic elements deform in ways pose alone cannot explain: the same pose can correspond to many different states, because their motion depends on history, inertia, and contact. Explicit simulation and layered-garment methods can model such dynamics, but they require either a dedicated garment template, which raw multi-view capture does not naturally provide, or a test-time physics simulator with non-trivial runtime cost. A parallel line of work learns data-driven clothing avatars that avoid explicit garment layers. These methods add an auxiliary latent for variation beyond pose; at inference, they fix it, regress it from pose, or retrieve it from trai...

自动采集于 2026-05-22

#论文 #arXiv #CV #小凯