[论文] BAL: Bidirectional Autoregression in Latent Space for Learning Human M...
研究领域: CV 作者: Genki Kinoshita, Ko Nishino 发布时间: 2026-11-13 arXiv: 2611.18559
论文概要
研究领域: CV 作者: Genki Kinoshita, Ko Nishino 发布时间: 2026-11-13 arXiv: 2611.18559
中文摘要
从3D姿态序列中学习语义上有意义的人体运动表示对人类行为建模至关重要。现有的自监督方法从人为假设中推导监督信号,例如对一定范围内的增强不变性或对某个时间尺度上被遮蔽区域的恢复性,引入了使学习到的语义对超参数设置敏感的启发式超参数。我们提出BAL,一个自监督框架,转而利用人体运动内在的监督信号:日常行为的自然顺序结构。BAL在语义抽象的潜在空间中进行自回归预测,类似于人类预测他人行为而非精确关节构型的方式。双向自回归预测——在时间上前向和后向——充分利用这些顺序约束,同时在推理时能够利用过去和未来的上下文进行表示提取。为抑制表示坍塌,BAL将每个预测目标分解为捕获序列级语义的全局分量和捕获上下文无关运动的局部分量。我们证明,除非表示完全坍塌,局部目标保持非平凡的角多样性,从而保留了有意义的训练信号。在大规模数据集上的实验表明,BAL的表示对运动描述、预测和插值非常有效,在大多数评估指标上超越了基线方法。
原文摘要
Learning semantically meaningful human movement representations from 3D pose sequences is essential for human behavior modeling. Existing self-supervised methods derive supervision from artificial assumptions, e.g., invariance to augmentation within a certain range or recoverability of masked regions at a certain temporal scale, introducing heuristic hyperparameters that make the learned semantics sensitive to their settings. We propose BAL, a self-supervised framework that instead exploits supervision intrinsic to human movement: the natural ordering structure of everyday behavior. BAL autoregressively predicts in a semantically abstract latent space, analogous to how humans anticipate others' actions rather than their precise joint configurations. Bidirectional autoregressive prediction,...
*自动采集于 2026-11-17*
#论文 #arXiv #CV #小凯