WorldWeaver（W²）：给视频世界模型装上一本"共享记事本"
> 注：原帖所给 arXiv 编号 2507.19320 实际指向一篇超新星/暗物质天体物理论文，系链接讹误。本文所据为 WorldWeaver 之真实编号 2607.21594（UCLA & Adobe Research，Mo、Li、Leng、Singh、Zhou）。以下解读基于其摘要、HTML 全文与社区评测。
一、核心问题：视频会"穿帮"，因为它从不记事
且看今日之视频世界模型（World Model，即"给定过去画面与动作、预测未来画面"的生成模型）。单人视角下，它已能产出以假乱真之帧。然一旦进入多智能体之境——譬如两人同处一《我的世界》（Minecraft），甲在前方垒了一堵墙，乙转过身来理应看见这堵墙——麻烦便来了。
旧式自回归视频扩散之通病：它把"历史画面"当作条件直接喂给模型。换言之，它每生成一段，都要从像素里重新反推一遍"此刻世界长什么样"。这好比一个编剧从不写人物小传，每写一集都得把前几集重看一遍，再凭记忆续写。视角一多、时间一长，便顾此失彼：甲看到的墙，乙那边凭空消失；被遮挡之物，转头便忘。论文谓之"状态漂移"（state drift），通俗说就是穿帮。
根由在于一句要害之语：画面历史是世界之"证据"，而非世界之"状态"本身。证据会过期、会片面、会随视角扭曲；状态却是那个不论谁在看、看没看见都恒在的"真相"。
二、一句话洞见
别让模型每步都从画面里"猜"世界——把世界状态显式地写成一组可学习的令牌（token），让它跨智能体、跨时间地活着、长着、被监督着。
此即 WorldWeaver（W²，"织世者"）之题眼：以"世界状态寄存器"（World State Register, WSR）取代"反复重推"。
三、通俗类比：村口那块黑板
想象两个快递员（智能体）在同一座小区（共享世界）里穿梭，各自只看得见自己眼前的路。
- 旧法：每人靠脑中印象送货，相遇时全凭记忆对口径——甲说"3 栋拆了"，乙若没亲见，便继续往 3 栋跑。迟早乱套。
- W² 之法：村口立一块公共黑板（寄存器 r）。甲、乙每送完一阵（生成一个 chunk），便把"3 栋已拆、乙在向东、天要下雨"之类要点，浓缩誊写到黑板上；下一段行程，二人皆以黑板为凭，而非只信自己眼睛。黑板由专人（更新函数 G_θ）据旧黑板+新见闻+动作 continual 修订。
更妙的是：这块黑板不只记"位置"，还被三路"监工"校准——
1. 个体状态监工：核对每人坐标、速度、朝向（对不对得上）；
2. 鸟瞰监工：拿一张上帝视角的俯拍图（BEV），用冻结的 DINOv2 视觉编码器比对几何布局是否吻合；
3. 文字监工：让冻结的 Llama 读一段场景描述（"甲正在挖矿，乙在盖塔"），看黑板能否解出这段文字。
三路一压，黑板便很难胡写。此即论文所谓"grounding"（落地/锚定）。
四、方法拆解：三件法宝
其一，世界状态寄存器（WSR）。一组可学习令牌 r_i ∈ ℝ^{K×d}（文中 K=256），在序列中与帧交错排布：[帧₀, 寄存器₀, 帧₁, 寄存器₁, …]。每生成一段，寄存器便据旧寄存器、近期帧与动作刷新：
$$
r_i = G_θ( r_{i-1}, x_{i-W+1}, …, x_i, a_i )
$$
它如一座压缩的"世界摘要"，条件化下一帧之生成；而帧的 KV 缓存只留滑窗（W=6），省显存。注意：推理时三路监工头（辅助解码头）尽数丢弃，故额外状态零成本——只在训练时"逼"寄存器学真东西。
其二，混合变压器（Mixture-of-Transformers, MoT）。让寄存器令牌走"状态分支"、帧令牌走"视觉分支"，各拥独立权重（投影、前馈、归一化皆分家），但自注意力仍在交错序列上联合计算。何故分家？因为"画像素"与"想状态"目标相争：你既要它出美图，又要它记真相，一脑难分。分家后 FLOPs 不变、仅增路由开销，却解了纠缠。消融显示：仅场景文本监督下，Dense（不分家）得 91.3，MoT 得 103.2——分家即涨分。
其三，三阶段课程。一曰双向教师（双向注意力学场景结构）；二曰因果学生（加 WSR 与三路监督，滑窗因果）；三曰 Self-Forcing——让模型用自己的"生成物"训练自己，弥合"训练看真值、推理看自己产出"之鸿沟，长程不崩。末段更冻结视觉分支、只训寄存器，VLM 均值由 63.8 升至 68.1。
总损失：$L = L_flow + λ_state · Σ_m d_m( h_m(r_i), y_i^m )$，其中三项距离分别为坐标的 MSE、BEV 的余弦距、文本的交叉熵。
五、实验与结论：黑板确实管用
数据：基于 SolarisEngine 同步双玩家 Minecraft，约 126 小时、832×480@20fps。综合指标 World Score =（均值 VLM 准确率 / 均值 FID）×100，越高越好：
寄存器消融尤见递进之理：仅寄存器 93.8 → 加个体统计 88.1 → 加 BEV 102.4 → 加场景文本 103.2 → 三者俱全 105.1。鸟瞰监督贡献最大，足证"全局几何"是跨视角一致之锚。半监督实验更有意味：1K 标注配 10K 无标注，World Score 由 63.2 跃至 90.3——少量"真值锚点"+大量"原始视频"，便能撑起状态建模。
六、意义与局限
意义在"提法"而非仅在"分数"。它把"世界状态"从一个隐喻，变成可监督、可评估、可跨视角检验的显式对象。这开启了一条新路：去测一个视频生成器究竟"记不记得"视线之外、或别家视角里的东西——此即世界模型之魂。
局限亦坦率：增益颇赖额外状态监督，而真实世界状态繁复且常无直接标注；实验囿于 Minecraft/模拟器。弱标签、噪声标签下表现如何，尚是 open question。另据社区评测（Pith T0），一致性核心数字所凭之 VLM 或与监督源有重叠，宜存一分审慎。
七、延伸思考：与本工作室之多智能体关切
此文恰扣"多智能体系统"之要害。吾辈常谈 Agent 协作，而协作之基，正在于共享心智模型——各智能体不必同视，却须同"知"。W² 之寄存器，无异于给多 Agent 配了一块分布式黑板：它跨视角、跨时间地存"世界真相"，而非各自从 Observation 重推。推而广之，无论是仿真训练、推理期规划，还是策略评估，皆可借"显式状态寄存器"替代脆弱的上下文拼接。
更深远者：当世界模型学会"记事"，Agent 方能在"视线之外"仍正确地推理与行动——这恰是从"会画视频"迈向"真懂世界"的一步。织世者之喻，名副其实：它不只生成画面，更在编织那张让众智能体得以共处的、隐而恒在的意义之网。
*——不确定处：以上架构与数值均引自公开文稿与社区评测；代码据称尚未完全开源，部分实现细节（如寄存器具体初始化、MoT 路由开销实测）以正式发布为准。*
