论文3：借来的影子——当视频扩散模型成为视觉追踪的替身演员

论文信息

• 标题: ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
• 作者: Ruihang Zhang, Felix Taubner, Pooja Ravi
• arXiv: 2607.06555
• 领域: 计算机视觉 / 6自由度姿态跟踪 / 视频扩散模型

🎭 序幕：追踪影子的艺术

在柏拉图的洞穴寓言中，一群囚徒被锁在洞穴里，只能看到墙壁上的影子。他们把影子当作真实，却不知道那只是真实物体在阳光下投射的幻象。

两千多年后，计算机视觉的科学家们遇到了一个类似的问题：他们想要追踪真实世界中物体的三维姿态，但摄像机只能捕捉到二维的影子——像素的变化。从二维到三维的重建，是视觉领域最古老、最困难的挑战之一。

今天的这篇论文，提出了一个出人意料的解决方案：如果直接追踪影子太难，那就让影子自己告诉我们它来自什么。

ProxyPose 的作者们训练了一个视频扩散模型，它的工作不是生成漂亮的视频，而是做一件看似荒诞的事情：给定一段真实世界的视频，它生成一段"代理视频"——一个彩色的、形状简单的多面体在画面中移动，但这个多面体的移动方式和真实物体的移动方式完全一致。

为什么这样做？因为追踪一个简单多面体的三维姿态，比追踪真实物体的姿态容易得多。既然代理视频的运动和真实视频一样，那追踪代理就等于追踪了真实。

这就像是让一个替身演员代替主角完成危险动作，但观众看到的运动是真实可信的。代理视频就是那个替身演员——它样子简单，但动作精准。

🔬 第一章：6自由度姿态跟踪的难题

1.1 什么是6自由度姿态？

在三维空间中，一个刚体的姿态（pose）由 6 个自由度（Degrees of Freedom, 6-DoF）描述：

3 个旋转自由度（Rotation）：

• 绕 X 轴旋转（Roll，翻滚）
• 绕 Y 轴旋转（Pitch，俯仰）
• 绕 Z 轴旋转（Yaw，偏航）

3 个平移自由度（Translation）：

• 沿 X 轴平移（左右移动）
• 沿 Y 轴平移（上下移动）
• 沿 Z 轴平移（前后移动）

这 6 个自由度唯一确定了一个物体在三维空间中的位置和朝向。

1.2 从单目视频恢复6自由度姿态

单目视频（monocular video）就是只有一个摄像头的普通视频。从单目视频恢复物体的 6-DoF 姿态，是计算机视觉的"圣杯"之一。

为什么难？因为：

深度歧义：2D 图像丢失了一个维度。一个远的小物体和一个近的大物体在图像上看起来一样大。从单个视角无法确定深度。

遮挡：物体的一部分被其他物体挡住，看不到完整的形状。

纹理缺失：光滑的表面（如白墙、金属、玻璃）缺乏纹理，无法匹配特征点。

反射和透明：镜子、水面、玻璃等表面的反射会让追踪算法迷惑——它分不清看到的是物体本身还是反射的影像。

变形：非刚性物体（如人脸、布料、流体）的形状会改变，刚体假设不成立。

1.3 现有方法的局限性

现有的 6-DoF 姿态跟踪方法通常需要额外的信息：

需要 3D 模型：很多方法（如基于模型的跟踪）需要预先知道物体的三维模型。这在工业场景（如追踪特定的机械零件）可行，但在野外场景（如追踪一个随机的杯子）不可行。

需要深度图：RGB-D 相机（如 Kinect、RealSense）可以获取深度信息，但深度传感器在户外、远距离、反射表面效果不好。

需要物体掩码：一些方法需要预先分割出物体，但分割本身就很难，尤其是边界模糊或遮挡时。

需要任务特定的特征：传统方法依赖手工设计的特征（如 SIFT、ORB）或任务特定的学习特征，这些特征在挑战性材质上失效。

假设全局刚性：很多方法假设整个物体是刚性的（不变形的），这对变形物体不适用。

🧬 第二章：ProxyPose的核心理念——视频到视频翻译

2.1 重新表述问题

ProxyPose 的核心创新是重新表述问题：不是"从视频估计姿态"，而是"把视频翻译成另一个视频，然后在新视频上估计姿态"。

具体来说：

1. 输入：一段真实世界的视频 + 第一帧中标记的一个像素点（表示要跟踪的表面区域）

2. 视频翻译：一个视频扩散模型把输入视频翻译成"代理视频"——合成视频，显示一个彩色的多面体（polyhedron）在移动

3. 姿态估计：因为代理视频中的多面体的形状和颜色是已知的，从代理视频恢复其 6-DoF 轨迹就变成了一个经典问题，可以用现成的求解器高效解决

4. 输出：多面体的 6-DoF 轨迹，也就是真实表面区域的 6-DoF 轨迹

2.2 为什么视频到视频翻译有效？

这个思路的巧妙之处在于：最难的部分被翻译步骤吸收了。

从视频恢复姿态的困难之处是什么？

• 处理反射、透明、纹理缺失
• 处理遮挡和变形
• 推断深度

视频扩散模型（如 Sora、CogVideo、Wan 等）在数十亿视频片段上训练过，已经内化了大量关于物理世界的知识。它们知道：

• 物体如何在三维空间中移动
• 光照如何变化
• 遮挡如何发生
• 反射和折射的规律
• 物体的刚性和柔性

ProxyPose 利用了这个预训练知识。视频扩散模型把输入视频翻译成代理视频的过程中，实际上是在"理解"视频中的运动模式。然后，它用简单多面体的运动来再现这些模式。

这就像是一个经验丰富的动画师。你给动画师一段真人视频，让他画一个火柴人动画，火柴人的动作和真人完全一致。火柴人（多面体）比真人（真实物体）简单得多，但动作是等价的。

2.3 代理视频的设计

代理视频中的"代理"（proxy）是精心设计的：

• 多面体形状：简单的几何体（如立方体、四面体），形状和大小已知
• 彩色纹理：每个面有不同的颜色，便于后续从图像中识别和定位
• 局部刚性：代理只再现局部表面区域的刚性运动，不要求全局刚性

因为代理的几何和外观是已知的，姿态估计就变成了一个经典问题：已知一个三维物体的形状和颜色，从二维图像中恢复它的姿态。这在计算机视觉中被称为 PnP（Perspective-n-Point） 问题，有很多成熟、高效的解法。

🎯 第三章：技术细节

3.1 视频扩散模型的微调

ProxyPose 基于一个预训练的视频扩散模型。但预训练模型不是直接就能用的，需要微调（fine-tuning）。

训练数据：完全使用合成数据！这很重要——不需要任何真实世界的标注数据。

合成数据生成过程：

1. 生成随机的三维场景，包含各种物体和材质
2. 在场景中放置摄像机，模拟运动
3. 渲染出 RGB 视频（作为输入）
4. 在场景中放置一个彩色多面体，让它跟随某个表面区域运动
5. 渲染出代理视频（作为目标输出）

微调目标：训练扩散模型把输入视频翻译成代理视频。模型学习的是"提取运动模式，然后映射到多面体运动"的映射。

3.2 从代理视频到姿态估计

代理视频生成后，姿态估计就简单了：

1. 特征提取：在代理视频的每一帧中，识别多面体的各个面（通过颜色）
2. 2D-3D 对应：把检测到的二维像素位置与多面体的三维顶点对应起来
3. PnP 求解：用最小二乘法或 RANSAC 求解最优的旋转和平移参数
4. 时序平滑：利用时序信息（视频帧之间有连续性），对姿态轨迹进行平滑处理

整个过程都是经典的计算机视觉方法，不需要深度学习，计算速度快，精度高。

3.3 关键优势

ProxyPose 的方法有几个关键优势：

不需要额外输入：只需要视频和一个初始像素点。不需要 3D 模型、深度图、掩码或任务特定的特征。

处理挑战性材质：扩散模型在训练过程中见过大量反射、透明、纹理缺失的场景，所以能处理这些挑战性材质。

像素级操作：模型在像素级别操作，不需要知道物体的身份、边界或全局刚性。

纯合成数据训练：不需要昂贵的真实世界标注数据，大大降低了训练成本。

泛化能力强：在合成数据上训练的模型，在真实世界数据上表现良好，因为扩散模型学到的运动知识是通用的。

📊 第四章：实验结果

4.1 基准测试

ProxyPose 在多个基准上进行了测试：

6-DoF 姿态跟踪：在标准的姿态跟踪数据集上评估精度和鲁棒性。

面部跟踪：测试在人脸视频上的跟踪效果（人脸是非刚性变形的）。

相机姿态估计：从视频恢复相机的运动轨迹。

野外场景（In-the-Wild）：测试在真实世界、无约束的视频上的表现。

4.2 关键结果

• 精度：在多个数据集上达到 state-of-the-art（SOTA）的 6-DoF 跟踪精度。

• 对比：与需要额外输入（3D 模型、深度图、掩码）的竞争方法相比，ProxyPose 不需要这些输入，但精度更高。

• 泛化：仅在合成数据上微调，就能在真实世界数据上表现优异。这验证了扩散模型的预训练知识确实捕获了通用的运动和物理规律。

• 扩展性：方法可以扩展到面部跟踪、相机姿态估计等任务，显示了方法的通用性。

• 挑战性场景：在现有方法难以处理的场景（如反射表面、透明物体、严重遮挡）上表现良好。

4.3 消融实验

作者们还做了消融实验，验证了各个设计选择的重要性：

• 代理设计：彩色多面体比单色球体效果更好，因为颜色提供了更多的特征点用于姿态估计。

• 扩散模型选择：不同的视频扩散模型（如 Wan、CogVideo）作为基础，效果不同，但方法框架通用。

• 合成数据量：合成数据量越大，泛化能力越强，但即使是小规模合成数据也能取得不错效果。

🧠 第五章：深层思考与启示

5.1 生成模型作为"理解"的媒介

ProxyPose 的一个深刻启示是：生成模型不仅是生成工具，还可以是理解工具。

传统上，我们训练模型来"预测"姿态（回归问题）。ProxyPose 反过来，让模型"生成"一个等价的代理场景。这个生成过程本身就体现了模型对输入视频的理解。

这类似于人类的学习方式。当我们学习一个概念时，不是死记硬背定义，而是尝试用自己的话解释它、画出来、举例子。生成（generation）是理解的最高形式。

5.2 代理表示（Proxy Representation）的哲学

ProxyPose 使用代理表示的思想，在科学和工程中有很长的历史：

• 物理中的质点：把复杂的物体简化为一个点质量
• 化学中的分子模型：用球棍模型表示分子结构
• 经济学中的代理人模型：用代表性消费者代表整个市场
• 计算机图形中的代理几何：用简单形状代替复杂模型进行碰撞检测

代理表示的核心思想是：保留关键信息，简化无关细节。在姿态跟踪中，关键是运动模式，而不是物体的具体外观。

5.3 从判别到生成的范式转移

ProxyPose 代表了计算机视觉中一个更广泛的范式转移：从判别式模型（discriminative models）到生成式模型（generative models）的转移。

传统方法：

• 输入 → 特征提取 → 回归/分类 → 输出
• 直接学习"从图像到姿态"的映射

ProxyPose 方法：

• 输入 → 生成代理视频 → 从代理视频提取姿态
• 利用生成模型的世界知识来"理解"场景，然后提取信息

生成模型作为中间表示有很多优势：

• 利用大规模预训练知识
• 更好地处理不确定性和多模态性
• 更容易解释和调试（可以可视化中间代理）

5.4 对视频扩散模型的应用启示

视频扩散模型（如 Sora、CogVideo、Wan）通常被用于生成娱乐内容。但 ProxyPose 展示了它们在严肃计算机视觉任务中的潜力。

可能的扩展方向：

• 运动捕捉：从普通视频生成骨骼动画
• 物理属性估计：从视频推断物体的质量、摩擦系数等
• 场景重建：生成代理场景来辅助三维重建
• 异常检测：代理视频和真实视频的偏差可以指示异常

📝 结语：影子的智慧

ProxyPose 让我想起了一个古老的禅宗公案：

一位弟子问禅师："什么是佛？"
禅师回答："干屎橛。"

这个看似粗俗的回答，实际上是在打破弟子对"神圣"概念的执着。佛不在金身塑像中，而在日常最平凡的事物中。

ProxyPose 也有类似的精神。姿态跟踪的"金身塑像"是精确的三维模型、复杂的特征工程、昂贵的标注数据。而 ProxyPose 说：不，你只需要一个彩色的多面体——一个"干屎橛"级别的简单代理——就足够了。真正的智慧不在于复杂，而在于抓住本质。

当视频扩散模型学会了"理解"运动，它就可以用任何简单的形式来表达这种理解。彩色多面体不是姿态跟踪的终极目标，但它是一个足够好的代理——一个借来的影子，让我们得以一窥真实运动的本质。

在柏拉图的洞穴中，囚徒们最终走出了洞穴，看到了真实的世界。ProxyPose 不是让我们走出洞穴，而是让洞穴里的影子自己变得更加清晰、更加有用。也许，这就是智能的真正含义：不是追求完美，而是在不完美中创造可能。

参考文献

• Zhang, R., Taubner, F., & Ravi, P. "ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation." arXiv:2607.06555, 2026.
• Lepetit, V., et al. "EPnP: An Accurate O(n) Solution to the PnP Problem." IJCV, 2009.
• Ho, J., et al. "Denoising Diffusion Probabilistic Models." NeurIPS, 2020.
• Wan, T.H., et al. "Wan: Open World Video Generation." 2025.
• Brooks, T., et al. "Video Generation Models as World Simulators." OpenAI, 2024.

#论文解读 #arXiv #姿态跟踪 #视频扩散模型 #6自由度 #计算机视觉 #小凯