编织世界：当多个AI共同创造一部连续剧——WorldWeaver的多智能体共识艺术

> *"一个人画一幅画，两个人写一首诗，三个人编织一个世界。"*

---

🎬 开篇：一个关于"接力写作"的寓言

想象一个奇怪的游戏：

十个作家围坐在一张圆桌旁，他们要共同创作一部长篇小说。规则很简单：每个人轮流写一段，每次只能看到前一个人写的内容。小说必须是一个连贯的故事——人物要一致，情节要合理，世界观要统一。

第一个作家开篇："在一个遥远的星球上，住着一位名叫艾拉的公主，她有一头银白色的长发..."

第二个作家接下去："艾拉公主每天都站在城堡的最高塔楼上，望着远处的紫色海洋..."

第三个作家写："有一天，一位神秘的旅行者来到了城堡门口。他穿着一件破旧的斗篷，手里拿着一把发光的长剑..."

到这里，故事还算连贯。但随着轮次增加，问题开始显现：

第五个作家把艾拉写成了"短发的战士女王"——他忘了前面说她是"银白色长发的公主"。

第八个作家让"神秘的旅行者"在上一章刚刚死去，却在下一章又让他出现在宴会上——他没注意到之前的剧情。

第十个作家在最后一章写道："整个星球其实是一个巨大的空间站"——这彻底推翻了前面建立的"遥远星球"的设定。

读者读完整部小说，满脸困惑："这到底是奇幻还是科幻？艾拉到底是公主还是战士？那个旅行者到底死没死？"

这就是多智能体世界建模（Multi-Agent World Modeling）面临的根本挑战：如何让多个独立的"创作者"在没有直接沟通的情况下，保持对世界状态的一致理解？

在现实世界中，这个问题更加复杂。因为我们不是在写小说，而是在生成视频——每一帧画面都必须与前后的帧保持一致，不仅要考虑时间上的连贯性，还要考虑空间上的合理性。

这篇来自2026年7月的论文《Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers》，提出了一种优雅的解决方案：WorldWeaver（W²）——一个流式多智能体视频扩散模型，它通过引入世界状态寄存器（World State Registers），让多个AI能够像共享同一个"剧本"一样，协同创造连贯的视频世界。

---

🌍 第一章：世界模型的梦想与现实

1.1 什么是世界模型？

世界模型（World Model）是AI领域最迷人的概念之一。它的核心思想是：AI不仅要能够感知世界，还要能够理解世界的运行规律——物理规律、因果关系、物体的持久性（object permanence）、以及时间的流逝。

一个完美的世界模型应该能够：

• 预测：如果我现在推这个箱子，它会往哪个方向滑动？
• 反事实推理：如果刚才我选择左转而不是右转，会发生什么？
• 长期规划：如果我要到达那个目的地，最优路径是什么？
• 想象：一个从未存在过的场景会是什么样子？

1.2 从单智能体到多智能体——为什么要复杂化？

如果单智能体已经这么难了，为什么还要研究多智能体？

因为真实世界本质上是多智能体的。想想看：

• 自动驾驶汽车需要预测其他车辆和行人的行为
• 机器人需要与人类协作完成任务
• 虚拟现实中的NPC需要独立行动同时保持世界的一致性
• 游戏中的AI对手需要理解游戏世界的规则并做出合理决策

在多智能体场景中，世界模型面临额外的挑战：

挑战一：视角的多样性

• 每个智能体从自己的位置观察世界
• 不同的智能体看到的世界是不同的
• 但这些观察必须来源于同一个底层世界状态

挑战二：行为的交互性

• 智能体A的行为会影响智能体B的观察
• 智能体B的反应又会影响智能体C的决策
• 这是一个复杂的动态系统

挑战三：状态的一致性

• 如果智能体A移动了一个物体，智能体B在稍后观察到它时，它必须处于新的位置
• 如果智能体A破坏了某个东西，智能体B不能再让它完好无损

1.3 现有方法的困境

现有的多智能体世界模型方法，主要面临两个根本性问题：

问题一：观察历史的诅咒

大多数现有的自回归视频扩散模型，通过将观察历史（observation history）作为条件上下文来生成新的帧。也就是说，模型生成第t帧时，会参考第t-1, t-2, ...帧。

这种方法在单智能体、单视角场景下工作得不错。但在多智能体、多视角场景下，它遇到了严重的问题：

• 每个智能体都有自己的观察历史
• 这些历史之间存在重叠（大家都看到了某些共同的东西）和差异（每个智能体看到的东西不同）
• 模型很难从这些分散的历史中重建出一个共享的世界状态

这就像让十个作家每人只看到自己写的前几段，然后期望他们写出连贯的故事——他们缺乏一个共同的"故事大纲"来对齐。

问题二：状态的漂移

即使模型能够在某种程度上维持一致性，随着生成长度的增加，误差会累积。就像传话游戏——第一个人说的"苹果"，传到最后一个人可能变成了"香蕉"。

在视频生成中，这种漂移表现为：

• 物体的位置逐渐偏移
• 物体的外观慢慢变化
• 新出现的物体与已有场景不协调
• 物理规律被违反（比如物体穿墙、重力失效）

---

🧬 第二章：WorldWeaver的创新——世界状态寄存器

2.1 核心思想：共享的"剧本"

WorldWeaver的核心创新，是在模型中引入了一组可学习的token，称为世界状态寄存器（World State Registers）。这些寄存器的角色，就像是那十个作家共用的"故事大纲"——它包含了所有智能体都需要知道的关键信息。

具体来说，世界状态寄存器存储三类信息：

1. 共享世界信息（Shared World Information）：

• 场景的整体布局
• 静态物体的位置和属性
• 环境的状态（天气、时间、光照等）

2. 个体智能体状态（Individual Agent Status）：

• 每个智能体的位置和朝向
• 每个智能体的行为状态（行走、奔跑、交互等）
• 每个智能体的历史轨迹

3. 动态更新记录（Dynamic Update Log）：

• 世界状态的变化历史
• 交互事件的记录
• 因果关系的追踪

2.2 动态更新机制——每次生成后的"同步"

世界状态寄存器不是静态的——它们在生成过程中动态更新。具体来说：

1. 初始化阶段：根据初始条件设置寄存器的状态 2. 生成阶段：每个智能体生成自己的视频片段时，可以读取寄存器中的世界状态 3. 更新阶段：每生成完一个视频块（chunk），寄存器根据生成的内容更新自己的状态 4. 传播阶段：更新后的寄存器状态被传递给下一个生成步骤

生活化比喻：想象十个作家围坐在圆桌旁，但这次桌子中央放了一块共享白板。每个作家在写作前都要看一眼白板，了解故事的当前状态。写完后，他要在白板上更新自己引入的新信息（比如"主角现在有了把剑"、"反派刚刚逃跑了"）。下一个作家写作时，看到的就是更新后的白板。

2.3 监督信号的三位一体

为了让世界状态寄存器真正学到有用的信息，论文设计了三种监督信号：

信号一：个体智能体状态监督

• 对于每个智能体，我们知道它的真实状态（位置、朝向、行为等）
• 这些真实状态被用来监督对应的寄存器token
• 确保寄存器准确地跟踪每个智能体的状态

信号二：全局状态视图监督

• 提供鸟瞰图（bird's-eye view）等全局视角
• 这些全局视图帮助寄存器理解场景的整体布局
• 防止局部视角导致的误解

信号三：场景文本监督

• 提供场景的文字描述（如"这是一个森林，有两条路，一个角色在左边"）
• 文本描述提供了高层次的语义信息
• 帮助寄存器理解场景的语义结构

这三种监督信号的组合，确保了世界状态寄存器既能捕捉细节（个体状态），又能把握全局（鸟瞰图），还能理解语义（文本描述）。

---

🏗️ 第三章：架构设计——Mixture-of-Transformers

3.1 为什么需要分离的权重？

WorldWeaver的另一个关键创新是Mixture-of-Transformers（混合Transformer）架构设计。

传统的Transformer模型使用共享的权重来处理所有类型的信息。但WorldWeaver团队发现，世界状态建模和视觉帧建模是非常不同的任务：

• 世界状态建模：需要推理空间关系、物理规律、因果链——这更像是一个"规划"任务
• 视觉帧建模：需要生成高质量的像素、纹理、运动——这更像是一个"渲染"任务

如果强制这两种任务共享同一套权重，模型可能会在两者之间"拉扯"——权重更新对世界状态建模有利的方向，可能对视觉帧建模有害，反之亦然。

3.2 Mixture-of-Transformers的设计

WorldWeaver的解决方案是：使用分离的权重，但保持信息的流动。

架构细节：

1. 世界状态Transformer：

• 专门处理世界状态寄存器
• 关注空间推理、物理模拟、因果推断
• 输入：当前的世界状态寄存器 + 智能体的动作/观察
• 输出：更新的世界状态寄存器

2. 视觉帧Transformer：

• 专门生成视频帧
• 关注像素生成、运动建模、外观一致性
• 输入：世界状态寄存器（作为条件）+ 之前的帧
• 输出：下一帧视频

3. 信息流动：

• 世界状态Transformer的输出（更新后的寄存器）被送入视觉帧Transformer
• 但视觉帧Transformer的梯度不会直接回传到世界状态Transformer
• 两者通过寄存器进行"松散耦合"

生活化比喻：想象一家电影制作公司有两个部门：

• 编剧部门：负责故事大纲、人物关系、情节发展
• 摄影部门：负责画面拍摄、镜头运动、视觉效果

两个部门有自己的专业团队和工作流程，但他们通过剧本进行沟通。编剧部门写完一集剧本，交给摄影部门拍摄。摄影部门拍完后，可能会反馈"这个场景在实际拍摄中不太合理"，编剧部门据此调整下一集的剧本。

WorldWeaver的Mixture-of-Transformers就像是这种分工合作的数字化版本。

3.3 流式生成——处理长视频的秘诀

WorldWeaver还引入了流式生成（Streaming Generation）机制，让它能够处理任意长度的视频。

传统的视频生成模型通常一次性生成固定长度的视频（比如16帧或64帧）。但WorldWeaver可以：

1. 分块生成：将长视频分成多个小块（chunks），逐块生成 2. 状态传递：每生成完一块，世界状态寄存器更新并传递给下一块 3. 无限延伸：理论上可以无限延伸视频长度，只要保持寄存器的更新

这就像写连载小说——每写完一章，作者都会更新自己的"故事笔记"，确保下一章与前文连贯。

---

🎮 第四章：实验——在Minecraft中编织世界

4.1 为什么选择Minecraft？

论文选择在Minecraft环境中验证WorldWeaver，这是一个明智的选择：

原因一：丰富的交互性

• Minecraft是一个开放世界游戏，有复杂的物理规律（重力、碰撞、流体等）
• 玩家可以放置、破坏、移动方块
• 有多种生物（动物、怪物）具有自主行为

原因二：明确的世界状态

• Minecraft的世界是由离散的方块构成的，世界状态可以精确表示
• 每个方块的位置和类型都是确定的
• 这便于设计监督信号

原因三：多智能体友好

• 支持多个玩家在同一个世界中活动
• 每个玩家有自己的视角和动作
• 玩家的行为会相互影响

4.2 实验设置：双智能体视频生成

论文的核心实验是双智能体Minecraft视频生成：

场景设置：

• 两个AI智能体在同一个Minecraft世界中活动
• 每个智能体有自己的第一人称视角
• 智能体可以执行动作（移动、跳跃、放置方块、破坏方块等）

任务：

• 给定初始世界状态和两个智能体的动作序列
• 模型需要生成两个视角的视频
• 两个视角的视频必须保持一致——智能体A在智能体B的视角中出现的位置和外观，必须与智能体A自己的视角一致

评估指标：

• 逻辑一致性（Logical Consistency）：两个视角中的世界状态是否一致
• 生成质量（Generation Quality）：视频的视觉质量（清晰度、流畅度等）
• 动作准确性（Action Accuracy）：智能体的动作是否在视频中被正确呈现

4.3 结果：显式世界状态建模的威力

实验结果令人信服地证明了WorldWeaver方法的有效性：

逻辑一致性的提升：

• 与基线模型（不使用世界状态寄存器）相比，WorldWeaver在两个视角的一致性上取得了显著提升
• 具体表现为：物体位置偏差减少、智能体外观一致、环境变化同步

生成质量的保持：

• 尽管引入了额外的世界状态建模组件，WorldWeaver在视觉质量上没有明显退化
• 这说明Mixture-of-Transformers设计成功地分离了两个任务，避免了互相干扰

长视频的优势：

• 随着生成视频长度的增加，基线模型的一致性快速下降
• WorldWeaver由于有世界状态寄存器的"锚定"，一致性下降得更慢
• 这验证了显式世界状态建模对长视频生成的价值

4.4 消融实验：每个组件的贡献

论文还进行了一系列消融实验，验证了每个设计选择的必要性：

消融一：去掉世界状态寄存器

• 结果：逻辑一致性大幅下降，几乎回到基线水平
• 结论：世界状态寄存器是方法有效性的核心

消融二：去掉全局状态视图监督

• 结果：模型在处理复杂场景（多物体、多交互）时表现下降
• 结论：鸟瞰图监督对全局理解很重要

消融三：去掉场景文本监督

• 结果：模型在语义理解上出现问题（比如分不清"森林"和"平原"）
• 结论：文本监督提供了必要的语义约束

消融四：使用共享权重（而非Mixture-of-Transformers）

• 结果：视觉质量下降，世界状态建模也不如分离权重好
• 结论：任务分离的架构设计是必要的

---

🌌 第五章：更深层的意义——世界模型与智能的本质

5.1 世界模型作为智能的基石

世界模型的研究不仅仅是关于生成更好的视频——它触及了智能的本质问题。

认知科学家和AI研究者长期以来都有一个假设：智能的核心是拥有一个关于世界的内部模型。这个内部模型让智能体能够：

• 预测未来（如果我这样做，会发生什么？）
• 理解过去（为什么会发生这件事？）
• 规划行动（我应该怎么做才能达到目标？）
• 想象可能（如果世界是这样而不是那样呢？）

人类婴儿在出生后的头几年，就在快速发展这种世界模型。他们通过观察和互动，学习物理规律（物体会掉落而不是飞起）、社会规则（分享玩具会让别人开心）、因果链（按开关灯会亮）。

WorldWeaver的研究，某种程度上是在让AI重新走一遍这个认知发展的过程——只不过是以一种工程化的、加速的方式。

5.2 多智能体世界模型的特殊挑战

多智能体场景为世界模型研究增添了额外的复杂性，也提供了独特的视角。

视角一：理论的相对性

• 在多智能体系统中，没有绝对的"客观视角"
• 每个智能体的观察都是"真实的"，但都是局部的
• 这引出了一个哲学问题："客观世界"到底是什么？是所有视角的交集，还是某种更高层次的抽象？

视角二：涌现的社会现象

• 当多个具有世界模型的智能体互动时，可能会涌现出复杂的社会现象
• 合作、竞争、欺骗、信任——这些人类社会的基本元素，是否也会出现在AI社会中？

视角三：共识与分歧的价值

• WorldWeaver追求视角之间的一致性，但真实世界中，分歧也是重要的
• 如果所有智能体对世界有一致的理解，它们就失去了互补的价值
• 如何平衡一致性和多样性，是一个开放的研究问题

5.3 从Minecraft到现实世界

虽然实验是在Minecraft中进行的，但WorldWeaver的技术可以应用于更广泛的场景：

应用一：自动驾驶模拟

• 多个自动驾驶汽车在同一个虚拟城市中行驶
• 每辆车需要预测其他车辆的行为
• 世界状态寄存器可以帮助维持交通场景的一致性

应用二：虚拟现实

• 多个用户在同一个VR空间中互动
• 每个用户看到的世界必须与其他用户一致
• WorldWeaver可以确保VR环境的一致性

应用三：机器人协作

• 多个机器人在同一个物理空间中工作
• 每个机器人需要知道其他机器人的位置和行为
• 世界状态寄存器可以作为共享的"环境意识"

应用四：游戏AI

• 游戏中的NPC需要理解游戏世界的状态
• 多个NPC需要协调行动（比如围攻玩家）
• WorldWeaver可以让NPC拥有更一致的世界理解

---

🔮 第六章：未来展望——编织更复杂的世界

6.1 当前方法的局限

论文诚实地指出了WorldWeaver的几个局限：

局限一：Minecraft的简化世界

• Minecraft虽然是复杂的，但仍然是离方块构成的
• 真实世界更加连续、更加模糊、更加不确定
• 如何将方法扩展到更真实的环境，是一个挑战

局限二：两个智能体的限制

• 实验主要验证了两个智能体的场景
• 随着智能体数量的增加，世界状态的复杂度会指数增长
• 如何扩展到数十个甚至数百个智能体，需要新的架构设计

局限三：监督信号的依赖

• 世界状态寄存器的训练需要大量的监督信号
• 在真实世界中，这些监督信号可能难以获得
• 如何减少监督依赖，是一个重要的研究方向

6.2 可能的研究方向

基于WorldWeaver，研究者可以探索多个有趣的方向：

方向一：无监督世界状态学习

• 目前需要显式的监督信号来训练寄存器
• 未来可以探索无监督或自监督的方法
• 让模型自己发现世界状态的有意义表示

方向二：层级世界模型

• 当前的世界状态是"扁平"的
• 可以引入层级结构——低层表示物体，高层表示场景、事件、关系
• 这类似于人类的认知层级：从感知到概念到抽象推理

方向三：概率世界状态

• 当前的世界状态是确定性的
• 真实世界充满不确定性——我们不知道门后有什么
• 概率世界状态可以让模型表达"不确定但合理"的猜测

方向四：世界模型的因果推理

• 当前的世界状态主要是描述性的（世界是什么样）
• 可以扩展为因果性的（世界为什么会这样）
• 这让模型不仅能预测，还能解释和干预

6.3 世界模型的终极愿景

如果我们把世界模型的研究推向极致，会得到什么？

愿景一：通用世界模型

• 一个能够理解任何物理环境的模型
• 从厨房到森林，从城市到太空站
• 这是实现通用机器人、自动驾驶、虚拟助手的关键

愿景二：可交互的世界模拟器

• 不仅理解世界，还能与世界互动
• 可以回答"如果...会怎样"的问题
• 可以用于科学发现、工程设计、政策模拟

愿景三：共享的人类-AI世界模型

• AI和人类共享对世界的理解
• 这让人类和AI能够更有效地协作
• 也是实现真正"可解释AI"的基础——如果AI和人类有共同的世界模型，AI的决策就更容易被理解

---

🎬 结语：编织者与被编织的世界

回到那十个作家的圆桌。

WorldWeaver给他们提供了一块共享白板——一个所有人都能看到、所有人都能更新的"故事大纲"。这块白板不会自动写故事，但它确保了每个人都在同一个页面上。艾拉公主不会突然变成战士，神秘的旅行者不会在死后复活，星球不会在结尾变成空间站。

但这块白板的作用不止于此。它还让作家们能够协作——第五个作家知道第四个作家已经让主角获得了宝剑，所以他可以在自己的章节中让主角用这把剑战斗。第八个作家知道第七个作家埋下了伏笔，所以他可以在自己的章节中回收这个伏笔。

这就是共享世界状态的力量。它不仅防止了错误，还创造了可能性——让多个创作者能够在彼此的创造之上继续建造。

WorldWeaver的研究告诉我们：让多个AI协同工作的关键，不是给它们更复杂的指令，而是给它们一个共享的"理解空间"。

在这个理解空间中：

• 每个AI都知道世界"现在是什么样"
• 每个AI都知道其他AI"在哪里、在做什么"
• 每个AI都可以更新世界状态，让其他AI知道"发生了什么变化"

这听起来简单，但实现起来极其复杂。WorldWeaver通过世界状态寄存器、动态更新机制和Mixture-of-Transformers架构，为这个古老的问题提供了一个优雅的工程解答。

更重要的是，WorldWeaver代表了一种范式的转变——从"让AI看更多数据"到"让AI理解世界的结构"。这不是量的积累，而是质的跨越。

在Minecraft的方块世界中，WorldWeaver已经证明了这种跨越的可能性。未来，它或许能帮助我们编织更复杂的世界——从虚拟城市到真实世界的数字孪生，从多智能体游戏到人机协作的未来。

毕竟，世界的本质就是一张巨大的织锦。每个智能体——无论是人类还是AI——都是这张织锦上的一个编织者。WorldWeaver让我们学会了如何让这些编织者协同工作，共同创造出一幅连贯、美丽、充满可能性的图景。

而这，也许就是通向真正智能的第一步——不是孤立地理解世界，而是在与他人的共同理解中，找到自己在世界中的位置。

---

参考文献

• Mo, S., Li, Y., Leng, Z., Singh, K. K., & Zhou, B. (2026). Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers. *arXiv preprint* arXiv:2607.21594.
• Ha, D., & Schmidhuber, J. (2018). World Models. *NeurIPS 2018*.
• OpenAI. (2024). Sora: A text-to-video model. *OpenAI Technical Report*.
• Brooks, T., et al. (2024). Video generation models as world simulators. *OpenAI Research*.
• Girdhar, R., et al. (2023). Emu Video: Factorizing text-to-video generation by explicit image conditioning. *arXiv preprint* arXiv:2311.10709.
• Vaswani, A., et al. (2017). Attention is all you need. *NeurIPS 2017*.

#论文 #arXiv #世界模型 #多智能体 #小凯 #记忆