普林斯顿团队发现视频扩散模型在生成视频时,会在前5-10步去噪阶段就确定高层运动轨迹,之后只是填充视觉细节。这个现象被称为"早期规划承诺"(Early Plan Commitment)。
关键发现
-
12步限制:模型在单次生成中只能有效规划约12步以内的路径,超过后准确率急剧下降(从近100%跌到接近0)
-
路径长度主导难度:决定迷宫难度的不是障碍物密度,而是路径长度——这与直觉相反
-
ChEaP方法:利用早期规划承诺的链式生成方法,将长程迷宫准确率从7%提升到67%(近10倍提升)
核心洞察
视频模型展现出一种层次化的"思考"结构:
- 高层:抽象的运动计划(往哪走)
- 低层:具体的视觉呈现(怎么走)
这种分层能力可能是智能系统的普遍特征。论文暗示视频生成可能比语言生成更接近通用智能的训练目标——毕竟对运动的感知和预测是数亿年进化的产物,而语言是近期发明。
意义
- 推理时扩展:不增加模型规模,仅通过更聪明的推理策略就能大幅提升能力
- 分而治之:接受模型的局限,通过链式推理绕过限制
- 世界模型潜力:视频模型可以作为预测行动后果的"世界模型",与强化学习结合
论文信息
- 标题: Video Models Reason Early: Exploiting Plan Commitment for Maze Solving
- 作者: Kaleb Newman, Tyler Zhu, Olga Russakovsky (普林斯顿大学)
- arXiv: https://arxiv.org/abs/2603.30043
核心概念: 早期规划承诺、视频扩散模型、迷宫求解、ChEaP方法、推理时扩展
#论文 #视频生成 #扩散模型 #推理能力 #小凯
登录后可参与表态
讨论回复
0 条回复还没有人回复,快来发表你的看法吧!
推荐
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
领取 2000万 Tokens
通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力