看不见的那几秒
设想这样一个镜头:草地上一头野兽突然出现,附近的人开始逃跑。然后镜头摇开,去拍别处。几秒后镜头摇回来——那几个人跑掉了吗?野兽走远了没有?
看不见的那几秒
设想这样一个镜头:草地上一头野兽突然出现,附近的人开始逃跑。然后镜头摇开,去拍别处。几秒后镜头摇回来——那几个人跑掉了吗?野兽走远了没有?
生成视频模型今天的问题就在这几秒里。它们擅长把每一帧画得像真的,但镜头看不见的地方,世界对它们来说就停了。镜头回来,画面常常像什么都没发生过:该跑的人还站在原地,该走开的野兽还蹲在原处。一篇 11 月初挂出的论文给这个毛病起了个名字,叫「视域外因果演化」:一个真正的世界模拟器,得在镜头移开时继续推演世界,镜头回来时交出因果合理的画面。论文原话说得很准——看不见,不等于不在世界里。
这篇 EvoWorld 出自港科大、腾讯和港中文的联合团队。八位作者,任务、数据、基准、方法,一篇文章里全造了一遍。
像素记不住事情
先说为什么现有模型做不到。扩散式的视频模型,世界状态藏在像素和注意力里——它没有一块地方明确记着「场景里有哪几个实体、谁看见了野兽、谁应该有反应」。画面内的一致性靠的是统计规律:这一帧和上一帧长得像。镜头移开,约束消失,回来时没人核对「那几个人到底该在哪」。
EvoWorld 的解法是把这件事拆开:一个模型管推理,一个模型管画画。视觉语言模型当「世界大脑」,每生成一段就看一段,把世界的状态用文字记下来、更新下去,再推理下一步会发生什么;分段自回归的渲染器只负责把大脑的结论画成视频。世界状态从此不再是像素里的隐式记忆,而是一份可以带着走、可以无限续写的文本账——渲染器看不见的那几秒,大脑替它看着。
这个拆分回答了一个世界模型研究里的老问题:世界的状态该用什么表示。JEPA 路线选潜空间,让网络自己在向量里学;EvoWorld 选了语言——至少在这类以实体和事件为中心的场景里,语言是现成的、可读的、可以推理的表示。
造数据,再训练
巧妇难为无米之炊:网上没有现成的「镜头移开又移回、中间发生因果事件」的长视频数据集。团队用流水线自己造:视觉语言模型先写出符合语义约束的场景脚本,视频基础模型据此生成候选视频,再经多轮视觉校验和时序标注筛出合格样本。最后得到的 EvoWorld-Data 约一万两千条、每条十秒以上的长视频,覆盖 19 个事件大类 65 个细类、16 个场景大类 63 个细类、14 种实体反应类型,真实感和游戏世界两个领域都有覆盖。
渲染器的训练分两步。第一步在干净数据上学基本功:每个训练窗口给两个锚——实体锚(主体的视觉特征)和时间锚(窗口起点),锚本身不加噪声、不计损失,只有目标段做流匹配监督。第二步让模型吃自己生成的输出继续练——只在干净数据上训练的模型,一旦自回归滚动起来,误差会滚雪球;在线训练专门治这个。跨镜头不认错人,靠的是身份锚定注意力:只在镜头重访的窗口激活,把实体锚重新注入注意力,主体才不会在几个镜头之间走样。
数字
评测基准 EvoWorld-Bench 从四个耦合维度打分:镜头重访、事件实现、实体反应的因果合理性、场景与实体一致性。最狠的指标是三者的交集——重访成功、事件真的发生、因果完全说得通,三者同时达成才算过。
七个被测的世界模型在这个交集指标上全部停在 13% 到 22% 之间;EvoWorld 拿了 90.8%。单看因果合理性,第二名 32.5%,EvoWorld 是 94.2%。这个数字要诚实读:基准是为自己这套框架设计的,训练数据也是自家的,自家方法考自家卷子占优不奇怪。但基线们普遍 20% 上下的因果分说明了一件事——「镜头移开后继续推演世界」这件事,此前的视频世界模型基本没有人在做,空白是真的。视觉质量上 EvoWorld 拿 83.8,也是被测系统里最高的,说明推理和渲染的拆分没有以像素质量为代价。
回到开头那几秒。在 EvoWorld 里,镜头移开的时间里,世界大脑正用文字记着谁看见了什么、该有什么反应,渲染器回来时照单画给你。看不见,但一直在世界里——这句原话,值得留给每一个做世界模型的人。
*信源:EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models(arXiv:2611.06748,Yequan Bie 等,港科大+腾讯+港中文)。数字均出自论文:任务定义与「out of sight, but not out of the world」出自摘要与引言;EvoWorld-Data 约 12k 条 ≥10 秒、19/65/16/63/14 五组规模数字与两领域构成为原文数字;身份锚定注意力、实体/时间锚零损失设计、两阶段训练(流匹配监督+在线自回归降曝光偏差)出自 3.3 节;Table 1 为基准成绩单(Core 交集指标 90.8 vs 基线最高 21.7、因果 94.2 vs 32.5、视觉 83.8 最高;基线含 LingBot-World/v2、YUME-1.5、SANA-WM、Echo-WM、Evoke/Turbo)。基准为作者自建、训练数据自产,跨系统对比读数需带此前提。*