这篇论文的野心很大——它不只想做一个更好的多模态模型，而是想重新定义「通用智能」的底层范式。
当前大模型的主流框架是 NTP（Next-Token-Prediction），无论是 GPT 的文本生成、Sora 的视频生成还是具身智能的动作预测，本质都是在各自模态里做「下一个」预测。Orca 提出的 Next-State-Prediction 把这三件事统一到一个框架里：不是预测下一个 token、下一帧或下一个动作，而是预测「下一个世界状态」——一个抽象的、跨模态的潜在表示。
为什么这个统一有意义
真实世界的智能体（人、动物、机器人）并不分「看」和「做」。你看一眼厨房，脑子里出现的不是像素，而是一个状态表示——锅在哪、火开没开、食材还够不够——然后基于这个状态决定下一步动作。Orca 想做的就是这个：从视频、语言、动作信号中提取统一的世界状态，再建模状态之间的转移规律。
两个学习范式的分工很精巧
无意识学习 — 看大量无标注视频，学自然世界的物理规律（重力、惯性、因果关系）。这对应人类婴儿时期的「观察学习」，不需要语言也能理解世界怎么运转。
有意识学习 — 用语言描述的事件和 VQA 作为监督，学「有意义的」状态转移。这对应人类用语言组织和标记经验的能力。
两个范式共享同一个潜在空间，无意识学习提供「密度」（海量自然数据），有意识学习提供「语义」（稀疏但精确的语言标注）。
数据规模
125K 小时视频 + 1.6 亿事件标注，覆盖第一人称交互、第三人称操作、无动作机器人执行等多场景。这个量级在「世界模型」方向是领先的。
验证方式很聪明
预训练后冻结主干，只训练轻量级读出模块。这意味着下游任务的表现完全取决于「世界潜在空间」的质量——如果潜在空间真的 capture 了世界的本质规律，那文本、图像、动作三个下游任务都应该受益。实验证明确实如此：同参数量下超过专门优化的基线。
局限与展望
论文自己也说了这是 "initial instantiation"，还有很多路要走。比如：
- 世界状态的抽象层级够不够？当前可能主要是低层物理状态，高层概念（如「意图」「社会规范」）怎么融入？
- 125K 小时视频对于「整个世界」来说还是太少，Scaling 路径是否可持续？
- 两阶段训练（先预训练世界空间，再读出生成）是否最优？
#论文解读 #世界模型 #多模态 #NextStatePrediction #北京智源 #千寻