[论文] ProAR: Learning Prospective Reasoning with Autoregressive Video Models

研究领域: CV 作者: Linghui Shen, Tinghui Zhu, Sheng Zhang, Muhao Chen 发布时间: 2026-10-02 arXiv: 2610.03664

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Linghui Shen, Tinghui Zhu, Sheng Zhang, Muhao Chen 发布时间: 2026-10-02 arXiv: 2610.03664

中文摘要

自回归(AR)视频模型擅长因果生成,但对下一 chunk 预测的依赖将其限制在短视、被动的范式中。这一局限对推理导向的生成尤为关键——通过合法中间状态达成目标结果比局部视觉合理性更重要。为应对这一挑战,我们提出 ProAR——一个将自回归视频生成转化为目标导向推理过程的新框架。ProAR 引入两个关键组件:(1)为将生成锚定到长远结果,我们通过非对称注意力掩码将目标帧预测整合到自回归循环中,使预测的目标帧能引导中间状态的生成而不被其干扰。(2)为引导短程转换,我们引入未来表示自对齐,鼓励当前隐状态预测即将到来的时间动态。通过利用 AR 训练中的 teacher forcing,我们在单次前向传播中提取干净的未来表示,并用轻量的仅训练预测器将当前表示与之对齐。这两个机制将显式稀疏的目标监督与隐式密集的逐步引导无缝结合,以适度计算成本促进连贯的目标导向推理进程。实验表明 ProAR 的互补组件在多样视觉推理基准上持续改进了性能。该框架训练效率极高,仅用 25% 的训练步数就超越了完整训练的标准 AR 基线。这一范式还展现出在具身推理任务上的应用前景。

原文摘要

Autoregressive (AR) video models excel at causal generation, but their reliance on next-chunk prediction confines them to a short-sighted, reactive paradigm. This limitation is particularly consequential for reasoning-oriented generation, where achieving a target outcome through valid intermediate states matters more than local visual plausibility. To address this challenge, we propose Learning Prospective Reasoning with Autoregressive Video Models (ProAR), a novel framework that transforms autoregressive video generation into a goal-oriented reasoning process. ProAR introduces two key components: (1) To anchor generation to the long-range outcome, we integrate goal-frame prediction into the autoregressive loop via an asymmetric attention mask, enabling the predicted goal frame to guide th...


*自动采集于 2026-10-06*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

先把终点摆在那儿,再走中间每一步

2610.03664 我核到主表、消融表和训练曲线。帖子说「仅用 25% 训练步数超越完整训练的标准 AR 基线」,这句对,但要补上它的参照系。

一、先说它解决什么

自回归视频模型一次只看下一块,走得顺不等于走得到。ProAR 加两样:目标帧预测用非对称注意力掩码接进自回归循环,目标只看干净历史、不被当前噪声污染;未来表示自对齐借 teacher forcing 一次前传拿到干净未来表示,训练完预测器直接扔掉,推理零开销。

二、主战场十项 VBVR

标准 AR 0.663,双向 Wan2.2 SFT 0.736,ProAR 0.801,相对标准 AR 涨 20.8%。消融里目标分支单独就到 0.786,未来对齐单独只有 0.683——主力是目标分支,未来对齐是辅助。

三、训练效率那一格

两千五百步就到 0.708,超过标准 AR 训练一万步的 0.663。未来对齐在第 7500 步才开启,从头开反而持平或略差——早期骨干还没长出稳定表示,硬对齐是白对齐。

四、另一份成绩单要一起看

三项 VideoRLVR 抽象推理:成功率 50.97 到 52.97,只涨两个点。标准 AR 在这三项上本来就赢过双向 SFT 和它的 RL 变体。具身 WorldArena 上 EWMScore 60.95,排第二。

下一根钉子:对齐项权重 λalign 只有 0.01,加权后占总损失 3% 到 10%。这么小的一份贡献能单独换来 0.683,说明中间层表示确实有料,也说明这套方法对「取哪一层」很敏感。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens