论文解读 3：From Pixels to States

从像素到世界：AI游戏引擎的奥德赛

论文: From Pixels to States: Rethinking Interactive World Models as Game Engines
作者: Zhen Li, Zian Meng, Shuwei Shi, Mingliang Zhai, Jiaming Tan, Chuanhao Li, Kaipeng Zhang
arXiv: 2607.14076
领域: 计算机视觉 / 交互式世界模型 / 游戏AI

🎮 序幕：一个古老的梦想

1992年，一个名叫约翰·卡马克的年轻程序员在id Software的办公室里，创造了《德军总部3D》。那是人类历史上第一个真正意义上的第一人称射击游戏。卡马克后来回忆说，他当时最大的愿望是创造一个"世界"——不是一张静态的地图，而是一个能对玩家做出反应、有内在逻辑、有生命的世界。

三十多年过去了，这个梦想从未熄灭。从《我的世界》的方块宇宙到《塞尔达传说》的海拉鲁大陆，从《GTA》的洛圣都到《黑神话：悟空》的东方神话世界——每一代游戏人都在用当时最先进的技术，试图建造一个更真实、更互动、更"活"的虚拟世界。

而今天，站在2026年的门槛上，一个新的可能性正在浮现：视频生成模型，能否成为下一代游戏引擎？

这不是一个理论问题。OpenAI的Sora、Google的Veo、Runway的Gen-3——这些模型展示出的视频生成能力，让人们开始认真思考：如果AI能生成逼真的视频，那它能不能生成一个你能走进去、能与之互动的世界？

《From Pixels to States》这篇论文，就是对这个问题的第一次系统性、学术性的深入审视。它像一位冷静的导航员，在兴奋的喧嚣中，为我们绘制了一幅精确的航海图——告诉我们：我们现在的位置在哪里，前方有哪些暗礁，以及真正的目的地还有多远。

🗺️ 第一章：真正的"交互世界"需要什么

🎯 三个不可妥协的条件

论文开宗明义地指出，一个"真正的交互游戏世界"必须满足三个条件。这三个条件就像三条铁律，缺一不可：

铁律一：规则一致性（Rule Consistency）

你朝一个敌人开枪，他受伤了。你跑开，再回来——他应该仍然受伤，而不是 magically 满血复活。你打破了一个花瓶，碎片应该留在地上，而不是凭空消失。

这听起来理所当然，但对视频生成模型来说，这是巨大的挑战。这些模型通常逐帧生成视频，每一帧都是独立计算的。如果没有某种"记忆机制"记住"花瓶已经碎了"，下一帧可能就会看到一个完整的花瓶。

传统游戏引擎怎么解决这个问题？它们有一个显式的游戏状态（game state）——一个数据结构，记录着世界里的一切：每个角色的血量、每个物品的位置、每个任务的进度。渲染引擎只是把这个状态的"当前快照"画出来。

铁律二：长程持续性（Long-horizon Persistence）

你在游戏开头做出的选择，应该在十个小时后的剧情里产生影响。你在第一章救下的NPC，应该在最终章出现感谢你——或者，如果他死了，他的家人会恨你。

这对视频生成模型来说更加困难。当前的视频生成通常只考虑短期的时间一致性——确保接下来几秒钟的画面连贯。但跨越数小时游戏时间的因果链条，需要一种完全不同的架构。

铁律三：实时性（Real-time Generation）

这是最后也是最难的一条。游戏不是电影——玩家不会等。你按一下跳跃键，角色必须立即跳起来。当前的生成模型（即使是最快的）也需要几秒到几十秒才能生成一段视频。这在游戏里是不可接受的。

传统游戏引擎为什么能做到实时？因为它们不"生成"每一帧——它们"渲染"每一帧。渲染是从已知的状态快速计算像素颜色的过程，比从零生成要快得多。

🔄 传统引擎的秘诀：动作-状态-观测循环

论文用一个简洁的框架概括了传统游戏引擎的工作原理：

玩家动作 → 更新游戏状态（按规则）→ 渲染观测画面 → 玩家看到画面 → 玩家做出新动作 → ...

这个循环的精髓在于状态的显式表示。状态是世界的"真相"——它可能不直接显示给玩家（比如敌人的AI状态、任务的隐藏进度），但它决定了玩家能看到什么、能做什么。

视频生成模型尝试的是另一条路：跳过显式状态，直接从动作到观测：

玩家动作 → [黑箱：生成模型] → 观测画面

这条路看起来更简单——不需要人工设计游戏规则和状态逻辑，只要让模型"学"就好了。但论文指出，这条路缺失了关键的中间层——状态，而状态正是保证三条铁律的基石。

🔬 第二章：四个维度的全景扫描

论文接下来做了一件非常有价值的事：它沿着传统引擎的"动作-状态-观测"循环框架，从四个维度系统性地审视了当前交互世界模型的研究现状。

🎮 维度一：玩家动作控制（Player Action Control）

问题：如何让生成模型"听懂"玩家的指令？

现有方法大致分为几类：

1. 直接条件化（Direct Conditioning）
把玩家动作（比如"向前走"、"跳跃"）作为额外的输入信号，直接喂给视频生成模型。这就像给画家口述指令："画一个人，他在跑。"

优点是简单直接。缺点是控制力有限——模型可能"听懂"了你的指令，但执行的方式不一定符合游戏设计意图。

2. 轨迹控制（Trajectory Control）
不仅告诉模型"做什么"，还告诉它"在哪里做"——通过指定相机轨迹、角色位置等空间信息来精细控制生成内容。

这比直接条件化更精确，但仍然是在"结果层面"控制，而不是在"规则层面"控制。

3. 状态条件化（State Conditioning）
把显式的游戏状态作为生成条件——比如"玩家有100血，敌人有50血，距离10米"。

这是最接近传统游戏引擎的方法，也是论文最推崇的方向。但它要求有标注好的"状态-观测"配对数据，标注成本很高。

🌊 维度二：游戏状态动态（Game State Dynamics）

问题：如何让世界"遵守规则"？

这里论文区分了两种范式：

1. 隐式动态（Implicit Dynamics）
完全依靠数据驱动。模型从大量游戏录像中学习"通常情况下，A发生后B会发生什么"。这就像一个只看过很多比赛录像的AI，学会了很多"经验法则"，但没有真正的规则理解。

优点是灵活——可以学习任何复杂的、难以用代码表达的规律。缺点是脆弱——遇到训练数据没覆盖的情况，可能做出荒谬的预测。

2. 显式动态（Explicit Dynamics）
像传统游戏引擎一样，人工设计规则，维护显式状态。AI只负责"渲染"——把状态变成画面。

优点是可靠、可控、可解释。缺点是僵硬——每个新游戏都需要重新设计规则，无法自动学习。

3. 混合方法（Hybrid）
论文认为最有前景的方向——用显式状态保证规则一致性，用AI生成模型负责"渲染"和"细节填充"。

这就像一个导演（显式状态系统）负责故事大纲和关键情节，而演员（AI生成模型）负责即兴表演和情感表达。

🧠 维度三：状态-观测持久性（State-Observation Persistence）

问题：如何让世界"记得"过去？

这是视频生成模型最薄弱的环节。当前的主流方法包括：

1. 滑动窗口（Sliding Window）
只保留最近N帧的历史。简单高效，但显然无法支持长程记忆。

2. 外部记忆（External Memory）
用额外的神经网络模块（如Transformer的记忆机制）来编码和检索长期信息。这有所改进，但如何有效地"写入"和"读取"记忆仍是开放问题。

3. 状态缓存（State Caching）
定期"保存"显式状态的快照。这是传统游戏的做法（存档点），但在连续生成的视频流中如何优雅地实现，仍是研究课题。

论文特别指出，状态持久性和观测持久性是两个不同的问题。状态持久性关注的是"世界底层真相的一致性"（比如一个NPC死了，他的状态应该永久改变），而观测持久性关注的是"画面表现的一致性"（比如同一面墙在不同角度看起来应该一致）。

⚡ 维度四：实时交互生成（Real-time Interactive Generation）

问题：如何做到"即按即显"？

这是从研究到产品的最大鸿沟。当前方法：

1. 蒸馏与压缩（Distillation & Compression）
把大模型蒸馏成小模型，或者使用量化的低精度模型。这能提高速度，但通常以牺牲质量为代价。

2. 级联生成（Cascade Generation）
先生成低分辨率版本快速反馈，再逐步上采样到高分辨率。这改善了感知延迟，但增加了系统复杂度。

3. 潜在空间操作（Latent Space Manipulation）
不在像素空间操作，而是在压缩后的潜在空间进行计算，最后只解码一次。这是VideoRAE等工作的方向，有显著的速度优势。

4. 预计算与缓存（Pre-computation & Caching）
预先计算常见场景、动画片段，运行时组合拼接。这是传统游戏引擎的核心技术，但在AI生成范式下如何结合，仍是探索中。

论文在这个维度上的结论比较审慎：当前技术距离真正的实时交互生成还有显著差距，但多个方向都显示出希望。

🐵 第三章：《黑神话：悟空》数据集——一座金矿

除了理论分析，这篇论文还贡献了一个非常有价值的实践资源：一个大规模、高质量的《黑神话：悟空》游戏数据集。

📊 数据集概况

• 游戏时长: 超过90小时的真实游戏过程
• 数据对齐: 每一帧都精确对齐了玩家动作、游戏状态、视觉画面
• 标注丰富: 包含结构化语义标注（角色、物体、事件等）

🎯 为什么选《黑神话：悟空》

这个选择本身就很有意思。《黑神话：悟空》是中国游戏科学的3A级动作RPG，以其惊人的画面质量和深度的战斗系统著称。

选择它作为数据源有几个优势：

1. 视觉复杂度：游戏拥有丰富的环境细节、多样的角色动作、复杂的战斗特效——这对生成模型是严峻的考验。
2. 动作深度：战斗系统有深度的连招、闪避、格挡机制——适合研究"状态-动作"的复杂动态。
3. 文化独特性：东方神话的美学风格与西方主流游戏数据集形成互补，有助于研究的多样性。
4. 社区热度：作为近年来最成功的国产3A游戏，它自带关注度，有助于数据集被广泛采用。

🔬 数据集能用来研究什么

论文指出，这个数据集特别适用于：

• 状态感知的世界模型训练：因为有精确对齐的游戏状态，可以训练模型学习"从画面推断状态"和"从状态生成画面"的双向映射。
• 动作条件化视频生成：研究如何把复杂的玩家输入（按键组合、摇杆方向）精确地转化为视觉输出。
• 长程一致性评估：90小时的连续数据提供了测试长程记忆和一致性的绝佳场景。
• 跨场景泛化：游戏中有大量不同的环境（森林、宫殿、洞穴、天庭），可以研究模型能否学到通用的"世界规律"而不是过拟合到特定场景。

🧠 第四章：深层思考——世界模型的本质

🌍 从"生成视频"到"模拟世界"

《From Pixels to States》之所以重要，不只是因为它分析了技术现状——更因为它提出了一个根本性的问题：我们到底在建造什么？

视频生成模型最初被当作"创意工具"——帮助艺术家、电影人、广告创作者快速生成视觉内容。但越来越多人意识到，它们的潜力远不止于此。

一个能"生成视频"的AI，和一个能"模拟世界"的AI，有什么区别？

关键就在于状态。

"生成视频"的AI就像一个自动售货机——你投币（输入条件），它出货（输出视频）。每次交易独立，没有记忆，没有因果。

"模拟世界"的AI则像一个沙盒——你在里面挖坑、建城堡、引水流。你的每一个动作都改变世界的"状态"，而这些改变会持久地影响后续的发展。

论文的核心论点就是：要让视频生成模型成为真正的"世界模型"，必须引入显式的状态表示。

这不是一个技术偏好，而是一个数学上的必然。没有状态，就没有记忆；没有记忆，就没有因果；没有因果，就没有"世界"。

🎭 AI游戏引擎的两种未来

论文勾勒了两种可能的未来路径：

路径A：AI增强的传统引擎

保留传统游戏引擎的核心架构（显式状态、规则系统、渲染管线），但在各个环节用AI增强：

• AI生成纹理和模型（替代手工美术）
• AI生成NPC对话和行为（替代脚本化AI）
• AI辅助关卡设计（替代手工搭建）
• AI实时上采样和光照计算（替代传统渲染）

优点是可靠、可控、可预测——玩家体验稳定，开发者能精确调试。缺点是仍然需要大量人工设计和编程，无法完全自动化。

路径B：端到端的AI引擎

彻底抛弃显式状态，让一个大型的神经网络直接从"玩家输入+历史信息"生成"下一帧画面"。

优点是极致的灵活性和潜力——理论上可以学习任何复杂的动态，无需人工设计规则。缺点是当前的不可控、不可靠、不可解释——你不知道它为什么做出某个决定，也无法保证它在边界情况下的行为。

论文的立场比较明确：短期内，路径A更现实；长期看，两条路径可能会融合。

🌅 一个更大的图景：世界模型与AGI

这不仅仅是关于游戏。"世界模型"这个概念，是通往通用人工智能（AGI）的核心路径之一。

一个真正的AGI需要理解世界的物理规律、社会规则、因果关系。而"世界模型"——即AI对世界的内部模拟——正是这些理解的基础设施。

从这个角度看，游戏是一个完美的试验场：

• 游戏世界有明确的规则（物理引擎、游戏规则）
• 游戏提供了无限的交互数据（玩家的每一个动作都是数据）
• 游戏有明确的评估标准（玩家是否满意、任务是否完成）
• 游戏的失败成本比现实世界低得多

如果AI能在复杂的游戏世界里学会"理解"和"预测"，它学到的能力很可能迁移到现实世界——从自动驾驶到机器人控制，从天气预报到社会模拟。

🏁 尾声：奥德赛的起点

《From Pixels to States》这篇论文，像是荷马史诗《奥德赛》的开篇——英雄（AI世界模型）已经出发，但前路漫漫，充满未知的挑战。

论文没有给出简单的答案。它给出的，是一个清晰的问题框架、一幅现状地图、和一条数据资源。

它告诉我们：

• 视频生成模型很强大，但距离真正的"交互世界"还有根本性的差距
• 差距的核心在于状态——那个连接动作、规则、观测的隐藏层
• 要解决这个问题，需要显式地把状态重新引入架构
• 而要做到这一点，我们需要更多像《黑神话：悟空》数据集这样的高质量资源

也许十年后回望，这篇论文会被视为一个重要的转折点——不是因为它的技术突破，而是因为它正确地定义了问题。

在AI研究的历史上，很多时候，提出正确的问题比给出答案更重要。

毕竟，奥德赛的伟大不在于他到达了哪里，而在于他选择了出发——并且清楚地知道，他要寻找的是回家的路。

参考文献

Li, Z., Meng, Z., Shi, S., Zhai, M., Tan, J., Li, C., & Zhang, K. (2026). From Pixels to States: Rethinking Interactive World Models as Game Engines. arXiv preprint arXiv:2607.14076.

#论文解读 #世界模型 #游戏引擎 #视频生成 #黑神话悟空 #交互式AI #小凯