[论文] [论文] ROWBench: Do Video Models Render What the Program Specifies?

研究领域: CV 作者: Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai, Jian-Kai Zhu, Fengbo Lan, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang, Zhixiang Wang 发布时间: 2026-10-01 arXiv…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai, Jian-Kai Zhu, Fengbo Lan, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang, Zhixiang Wang 发布时间: 2026-10-01 arXiv: 2610.02205

中文摘要

可编程世界模型将可执行动力学与视觉生成分离,为下一代游戏引擎提供了有前景的基础。然而它们对显式规则和交互的视觉遵循程度仍未得到充分评估。现有基准评估视觉质量、可控性和指令或物理遵循性,但很少测试对细粒度程序指定世界事件的保真度。我们提出 PROWBench,包含 170 个程序化构建的剧集和 600 个代理视频,覆盖多样场景和交互。PROWBench 记录实体状态和时间戳事件(包括视野外事件),作为可重放的世界记录,从中渲染同步视图和代理表示。这使得生成的视频可以与程序执行的可观察结果进行核对。可扩展框架构建场景、控制行为,并可将每个相机视图渲染为不同表示(如粗粒度 3D 和边界框)。基准覆盖第一和第三人称视角,部分剧集提供同步多视图观察。基于这些记录,PROWBench 评估实体控制、长时程记忆,并通过两个基于 VLM 的指标——逻辑-渲染对齐和交互成功率——评估对规定时间线和时间戳引擎记录事件的视觉实现程度。

原文摘要

Programmable world models separate executable dynamics from visual generation, offering a promising foundation for next-generation game engines. However, their visual adherence to explicit rules and interactions remains insufficiently evaluated. Existing benchmarks assess visual quality, controllability, and instruction or physical adherence, but rarely test fidelity to fine-grained, program-specified world events. We introduce PROWBench, comprising 170 programmatically constructed episodes and 600 proxy videos covering diverse scenes and interactions. PROWBench logs entity states and timestamped events, including those outside the camera's field of view, as replayable world records, from which it renders synchronized views and proxy representations. This enables generated videos to be che...


*自动采集于 2026-10-03*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

第一次有人给视频生成模型出了一张「程序说了什么,你画没画出来」的对账单

程序写了剧本,你画出来了吗

这篇的切口很准。可编程世界模型把「可执行动力学」与「视觉生成」分开——引擎算规则,模型出画面。看起来很美,但没有人测过:程序规定的那些细粒度事件,模型到底画出来了没有。

我把全文读了,数字比帖子的摘要更值得说。

先说那个 600 到底是什么

摘要里的「170 个剧集 + 600 条代理视频」,很容易被读成「600 条生成视频」。不是。

  • 170 个评估用例,按四个集合拆:多场景 130 + 多人 10 + 事件驱动 20 + 长时程 10。
  • 200 个选中视角(173 个第三人称 86.5%,27 个第一人称 13.5%)。
  • 600 条输入给模型的代理视频——200 个视角 × 3 种同步表示(粗粒度 3D、CWM proxy、Colored-OBB)。
  • 130×1×3 + 10×4×3 + 20×1×3 + 10×1×3 = 390 + 120 + 60 + 30 = 600,自洽。
也就是说,600 既不是生成视频数,也不是真值 RGB 数,而是条件代理视频的条数。这个区别很关键:它决定了这套 benchmark 是在测「给不同表示,模型画得一样吗」。

规格也报得很细:3 种表示共 37,500 条视角帧观测、112,500 帧代理视频,总时长 62.5 分钟。

真正的贡献:可重放世界记录

这是我认为全文最硬的东西。

同一份状态记录,可以渲染出三套同步的条件表示。于是「表示」这个变量,被从模型、数据、任务里干净地剥了出来。而且这份记录还包含视野外事件——以及离开视野之后又回来的实体。

这两件事别的 benchmark 做不到。记录是可重放的,所以「生成的视频」可以拿来跟「程序执行的可观察结果」逐条对账;不是问「画得好不好看」,而是问「该发生的那件事,在那个时间窗里发生了没有」。

指标与分数:最好的模型也只有 0.85

两个指标都是二值判定再平均,裁判是 Qwen3.6-27B:

  • LRA(逻辑-渲染对齐):每个时间线段,判「规定的动作有没有出现在它的窗口里」。
  • ISR(交互成功率):每个事件,判「规定动作 + 预期终态」是否同时在场。
最好的一格:LRA 0.852、ISR 0.809(都是 LynnReal-Omni)。

但用 BBox IoU 加权之后(gLRA / gISR),全部掉到 0.33–0.43。 也就是说:模型大致知道该出现什么,但放在哪儿,差得远。

长时程那组更难看:30 秒全程 BBox IoU 只有 0.175–0.280;离开视野又回来的实体,重现值只有 0.053–0.131——几乎记不住。50 组方法-录制配对里,42 组低于 0.3。

论文对此很坦白:*「这些数字只指示倾向,不是稳定的排名。」*

该泼的三盆冷水(论文自己先泼了两盆)

第一盆,也是最重的一盆:判卷老师没跟人类对过答案。 论文原句:*「交互成功率、逻辑-渲染对齐和外观指标,依赖一个尚未与人类标注校准过的 VLM 裁判。」* 全文没有任何 VLM-人类一致率的百分比。它做了一个「错配时间线」的健全性检验(把时间线打乱,分数从 0.46–0.85 掉到 0.07–0.20),但那只能证明裁判看了提示词,不能证明它判得准。最好的模型 LRA 0.852,那剩下的 0.148 到底是模型没画,还是裁判没看见?分不出来。

第二盆:数据集里有一条 MiniMax-H3 的循环。 Unverified-FF 那 90 对(占主赛道七成)的场景筛选本身用 MiniMax-H3 的输出做的,所有方法的首帧也都是它生成的。而榜单前列恰恰是 LynnReal-Omni、MiniMax-H3、CWM——后两个都是 MiniMax-H3 系。论文自己写:*「涉及 MiniMax-H3 的结果,请带着这个潜在偏置来读。」*

第三盆是我加的:分数没有标尺。 全文没有人类上限,也没有引擎真值的上界数值。所以「LRA 0.852 算好还是坏」根本无从判断。另外被测的 11 个模型里,没有 Sora、Veo、Kling、Wan、HunyuanVideo——通用视频基座只测了 MiniMax-H3 与 Seedance 2.5 两家。结论的覆盖面有限。

值得肯定

  • 把「程序执行的可观察后果」当成真值,这个切入点是真空白。
  • 数据引擎可扩展:场景、行为、表示三者解耦;CC BY 4.0,代码仓库可访问。
  • Limitations 写得比绝大多数 benchmark 论文诚实:裁判未校准、MiniMax-H3 偏置、挑战集太小(各十个录制)、位姿估计器自身就有 1.1°–2.7° 的误差——该认的账一条条列出来了。
  • 指标的正交性有论证:BBox IoU 与 ISR 在场景内的 Spearman 相关只有 0.05;同时指出 CLIP-Score 跨方法只波动 4.5–5.6%,而 BBox IoU 波动 53–79%——用一个反例坐实了旧指标失效。

一句话

它第一次给视频生成模型出了一张对账单:程序写了什么,你到底画没画出来。

可重放世界记录 + 三种配对表示,是真正的方法论贡献。缺的那一把尺子,论文自己承认还没校准——判卷的是个没跟人类对过答案的裁判。这句自曝,反而让这份 benchmark 显得可信。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens