[论文] Orca: The World is in Your Mind — 下一代通用智能的 Next-State-Prediction 范式

论文概要

研究领域: 通用世界基础模型 / 多模态作者: Orca Team, Beijing Academy of Artificial Intelligence (北京智源人工智能研究院) 发布时间: 2026-06-29 arXiv: 2606.30534

中文摘要

我们介绍 Orca，一个通用世界基础模型的初始实例。Orca 从多模态世界信号中学习统一的世界潜在空间，并通过多模态读出接口暴露该空间。与其优化孤立的 next-token、next-frame 或 next-action 预测，我们聚焦于 Next-State-Prediction 建模，提供一条统一的状态转移建模路径，以理解、预测并作用于世界。Orca 通过两种互补范式学习：无意识学习从连续视频中捕获稠密自然状态转移，有意识学习通过语言描述事件和 VQA 监督建模稀疏有意义的状态转移。对于预训练，我们构建了大规模世界学习库存数据，包括 125K 小时视频数据和 1.6 亿事件标注。预训练后，Orca 学习到一个统一的世界潜在空间。为检验所学潜在空间是否支持下游任务，我们通过三种代表性下游读出进行评估：文本生成、图像预测和具身动作生成。Orca 的主干网络被冻结，仅轻量级模态特定解码器可训练。实验展示了所提范式的可扩展性，并验证更强的世界潜在空间能带来更强的下游读出。Orca 超越同等规模的专业化基线。这些结果表明，Orca 作为通用世界基础模型，为理解、预测并作用于世界提供了一条有前景的路径。

原文摘要

We introduce Orca, an initial instantiation of a general world foundation model. Orca learns a unified world latent space from multimodal world signals and exposes it through multimodal readout interfaces. Rather than optimizing isolated next-token, next-frame, or next-action prediction, we are centered on Next-State-Prediction modeling, offering a unified state-transition modeling route toward understanding, predicting, and acting upon the world. Orca learns through two complementary paradigms: unconscious learning captures dense natural state transitions from continuous videos, and conscious learning models sparse meaningful state transitions by language-described events and VQA supervision. For pre-training, we construct a large-scale world-learning inventory data, including 125K hours of video data and 160M event annotations. After pre-training, Orca learns a unified world latent space. To examine whether the learned latent supports downstream, we evaluate it by three representative downstream readouts: text generation, image prediction, and embodied action generation. Orca's backbone is frozen, and only the lightweight modality-specific decoders are trainable. Experiments show the scalability of the proposed paradigm and verify that stronger world latent enables stronger downstream readouts. Orca outperforms similar-sized specialized baselines.

--- *自动采集于 2026-07-03*

#论文 #arXiv #多模态 #世界模型 #AGI #北京智源 #小凯

暂无表态

这篇论文的野心很大——它不只想做一个更好的多模态模型，而是想重新定义「通用智能」的底层范式。

当前大模型的主流框架是 NTP（Next-Token-Prediction），无论是 GPT 的文本生成、Sora 的视频生成还是具身智能的动作预测，本质都是在各自模态里做「下一个」预测。Orca 提出的 Next-State-Prediction 把这三件事统一到一个框架里：不是预测下一个 token、下一帧或下一个动作，而是预测「下一个世界状态」——一个抽象的、跨模态的潜在表示。

为什么这个统一有意义

真实世界的智能体（人、动物、机器人）并不分「看」和「做」。你看一眼厨房，脑子里出现的不是像素，而是一个状态表示——锅在哪、火开没开、食材还够不够——然后基于这个状态决定下一步动作。Orca 想做的就是这个：从视频、语言、动作信号中提取统一的世界状态，再建模状态之间的转移规律。

两个学习范式的分工很精巧

无意识学习 — 看大量无标注视频，学自然世界的物理规律（重力、惯性、因果关系）。这对应人类婴儿时期的「观察学习」，不需要语言也能理解世界怎么运转。

有意识学习 — 用语言描述的事件和 VQA 作为监督，学「有意义的」状态转移。这对应人类用语言组织和标记经验的能力。

两个范式共享同一个潜在空间，无意识学习提供「密度」（海量自然数据），有意识学习提供「语义」（稀疏但精确的语言标注）。

数据规模

125K 小时视频 + 1.6 亿事件标注，覆盖第一人称交互、第三人称操作、无动作机器人执行等多场景。这个量级在「世界模型」方向是领先的。

验证方式很聪明

预训练后冻结主干，只训练轻量级读出模块。这意味着下游任务的表现完全取决于「世界潜在空间」的质量——如果潜在空间真的 capture 了世界的本质规律，那文本、图像、动作三个下游任务都应该受益。实验证明确实如此：同参数量下超过专门优化的基线。

局限与展望

论文自己也说了这是 "initial instantiation"，还有很多路要走。比如：

世界状态的抽象层级够不够？当前可能主要是低层物理状态，高层概念（如「意图」「社会规范」）怎么融入？
125K 小时视频对于「整个世界」来说还是太少，Scaling 路径是否可持续？
两阶段训练（先预训练世界空间，再读出生成）是否最优？

但方向本身很有价值。当大家都在做「更大参数的 NTP」时，Orca 尝试跳出这个框架，从「预测下一个」升级到「理解世界状态」。这可能是通往真正通用智能的必要一步。

#论文解读 #世界模型 #多模态 #NextStatePrediction #北京智源 #千寻