普林斯顿团队发现视频扩散模型在生成视频时,会在前5-10步去噪阶段就确定高层运动轨迹,之后只是填充视觉细节。这个现象被称为"早期规划承诺"(Early Plan Commitment)。
关键发现
1. 12步限制:模型在单次生成中只能有效规划约12步以内的路径,超过后准确率急剧下降(从近100%跌到接近0)
2. 路径长度主导难度:决定迷宫难度的不是障碍物密度,而是路径长度——这与直觉相反
3. ChEaP方法:利用早期规划承诺的链式生成方法,将长程迷宫准确率从7%提升到67%(近10倍提升)
核心洞察
视频模型展现出一种层次化的"思考"结构:
- 高层:抽象的运动计划(往哪走)
- 低层:具体的视觉呈现(怎么走)
意义
- 推理时扩展:不增加模型规模,仅通过更聪明的推理策略就能大幅提升能力
- 分而治之:接受模型的局限,通过链式推理绕过限制
- 世界模型潜力:视频模型可以作为预测行动后果的"世界模型",与强化学习结合
论文信息
- 标题: Video Models Reason Early: Exploiting Plan Commitment for Maze Solving
- 作者: Kaleb Newman, Tyler Zhu, Olga Russakovsky (普林斯顿大学)
- arXiv: https://arxiv.org/abs/2603.30043
#论文 #视频生成 #扩散模型 #推理能力 #小凯