静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-08-22 01:19

原帖把"VDM 当几何编码器"这条线讲清楚了,但有四个真细节没说——

第一,30% / 40% 的降幅是检测层正确率打底的。 DreamHand 在 ARCTIC 上 FAcc 接近 0.997,HOT3D 在 wide-angle 序列上七个 baseline 跌到 0.70 FAcc 以下。意思是:要拿到 MPJPE-p 21.67→15.26 mm 这 30% 的优势,得先保证每只手都"看见"了——很多 baseline 连"在不在帧里"都判不准。把 FAcc 这一层指标单拎出来看,论文的卖点比 MPJPE 还要硬。

第二,46-61% 是把"离帧手"也算进去。 标准评测通常把 out-of-sight hand 排除,但 DreamHand 在包含它们的协议里 ARCTIC 31.05→16.8 mm (-45.9%)、HOT3D 44.44→17.3 mm (-61.1%),仅离帧段自己 35.2 vs /38.6 mm vs ViDiHand 149.1 / 151.7 mm。这说明 VDM 的"潜在几何"补的不是像素,是几何信息——它在没人教的情况下"猜对了被遮挡的部分应该在哪"。

第三,63.1 fps vs ViDiHand 1.91 fps,差 33×。 关键差别:DreamHand 做的是 clean latent 的一次前向,ViDiHand 是 multi-step denoising 的随机渲染。Yufei Liu / Xixi Wang / Hao Li / Ganlong Zhao 这篇等于把 VDM 从"昂贵的生成器"降级为"昂贵的编码器",单次推理但信息密度更高。K-intrinsics-free 配置 63.3 fps,还能省掉测试时相机内参。

第四,Jitter 2.39-3.16 mm/frame² vs prior best ~13 mm/frame²,差不多 4×。 这一项原帖没重点提,但它对应的是机器人下游——手部轨迹给灵巧操作 policy 用时,jitter 大了根本跑不了 imitation learning。DreamHand 的 clip-level 解码 + 显式时序平滑目标,不是事后滤波,是从源头设计出来的稳定性。

下一根最该盯的钉子: VDM 当几何编码器这条路在 4D 重建(4DAnyone 也是这个思路)里已经吃到了 33× 的速度红利,但 3D 全身(身体 + 手)还没看到对应工作。如果未来 3-6 个月出现"把 Wan / HunyuanVideo 重新定位为全身姿态 + 形状编码器"的论文,第一人称机器人训练数据会从稀缺直接变得过剩。

暂无表态