画得清清楚楚，错得明明白白
——解读 *Events, Not Pixels: Where World Models Get the Return Wrong*（arXiv: 2610.29435）
目录
——解读 *Events, Not Pixels: Where World Models Get the Return Wrong*（arXiv: 2610.29435）
这是「证据的质地」三部曲的第二篇，我们问的是证据的承载。
> 上一篇问的是证据的指向：一根 PMID 凿在真实的墙上，门牌号是真的，街道是真的，门也是真的——门后住的人，却不是 citation 说的那一户。存在，不等于相关。今天这篇，把镜头从文献挪到像素，问的是另一件事：当证据是一段画面时，它装在什么样的容器里？
> 答案是：一个装修精美的容器。世界模型把每一帧都画得纤毫毕现，但决定决策的那几帧——"得分"与"终止"——里头什么都没有。画面是证据的容器，容器好看，内容缺席。清晰，不等于有价。
> 三部曲的另两篇：篇一·327 个真实门牌号，只有 3 扇对的门、篇三（随后发布，导航见评论区）。
🎬 八条想象中的路线，他选了错的那条
开场先给你看一次失败。
一个规划器，站在 Pong 的球台前。它并不直接出手——它先在脑子里试跑：第一条路线，接球，回击，得分；第二条路线，慢了半拍，丢分；八条路线依次排开，像八张并排放映的胶片。它要做的，是给每张胶片打一个总分，挑总分最高的那条，照做。
八张胶片，每一张都清晰流畅。球是圆的，挡板是直的，比分牌上的数字端庄秀丽。
它选了第三条——因为在那条想象里，挡板触球的那个瞬间，"得分"这件事压根没被画进画面。没有得分，回报就少一截；少一截，排序就错；排序错，手就伸错。它不是没看见未来，它是看走眼了未来的账目。
这个场景不是寓言，是这篇论文每天要做几百次的事。
Haoyue Liu 与 Xiaoying Tang（香港中文大学（深圳）、FNii-Shenzhen）在 2026 年 10 月挂出的这篇 *Events, Not Pixels*，干的就是把这一幕拆开验尸：一条想象轨迹里，到底是什么地方出了错，才改变了规划器的决定？ 答案是反直觉的——错的地方画得很好，画得差的地方反而没错。
🧠 在想象里试跑：世界模型与规划
先把地基打平。
世界模型（world model）是强化学习里最浪漫的想法，自 Ha & Schmidhuber 2018 年那篇 NeurIPS 论文起：agent 不必拿真命去撞墙，它可以在脑中模拟环境——"如果我这步走 A，世界会变成什么样？" 此后 Dreamer 系列（Hafner et al., 2019/2020）把"从像素学动力学、在潜空间里规划"的流水线做成了主流，MuZero（Schrittwieser et al., 2020）更激进——不重建画面，只学"对赢有用"的抽象规则。
它们共享同一副骨架：imagination-based planning（基于想象的规划）。规划器在模型里向前 rollout 若干条候选动作序列，每条得到一个想象的回报（return，折扣累积奖励），按回报排序，选最好的那条执行。模型是教练，规划器是选手，回报是唯一的记分牌。
先认识一下这个世界里的居民。时间是 60 格胶片，每一格是一次转换（transition）：上一帧画面 + 一个动作 → 下一帧画面。绝大多数转换是白开水——球在飞，人在走，画面在变，分数不动。只有少数几格是事件：奖励非零，或 episode 终结。Pong 里挡板触球的那一格，Frostbite 里跳过冰缝、踩到海豹的那一格，Seaquest 里鱼雷命中潜艇的那一格。规划器的全部身家都押在这几格上：一条 60 步的轨迹，可能 57 步是铺垫，3 步定生死。而恰恰这几格，是模型自己画的。
近几年，像素级世界模型真正把"想象"画成了电影。三个发布模型家族是本文的主角：
- DIAMOND（Alonso et al., 2024）：拿 diffusion 当引擎，一帧一帧采样未来；
- IRIS（Micheli et al., 2023）：transformer 架构，离散 token 预测，样本效率惊人；
- Simulus（Cohen et al., 2025）：新一代发布模型，同样主打高保真 rollout。
⚖️ 两套排行榜：画得像，不等于算得对
现在的评测主流，是看渲染质量。MSE、SSIM、LPIPS——像素误差的各路判官——把模型按"画得像不像真实视频"排成一队。
但规划器不这么活。它只认一件事：回报的排序。而回报有个暴虐的性质——它往往只悬在少数几步上：接球得分的那一步，episode 终结的那一步。其余五十几步，画得再精美，对回报的贡献约等于零。
给三个家族排座次，最顺手的就是渲染指标：MSE 谁都会算，LPIPS 有现成模型，排行榜立等可取。这不是懒惰，是无奈的 proxy——回报要靠真策略跑出来的分数验证，而策略、数据、训练预算，每一环都会干扰归因；画得像不像，至少一眼可辨。久而久之，proxy 升格成了标准：发布模型的卖点是"你看这帧多真"，基准表按画质排开。
这篇论文的出发点，是一句朴素的提醒：proxy 用久了，别忘了它是 proxy。 规划器不收藏画，它只花回报。
打个房产中介的比方。带你去看一套豪宅：大理石地面，无主灯设计，智能家居全套，装修评分逼近满分。一切都对，直到你翻开产权证明——该盖章的那几页，章没盖。房子每一帧都好看，关键的几帧里什么都没有。更要命的是：任何装修评分体系都测不出这个洞。 洞不在装修里。
世界模型就是那套房子。它可以在 59 步里画得纤毫毕现，然后漏掉第 60 步那一个"得分"。视觉指标给它打的评分纹丝不动——MSE 不在乎你漏没漏一个记分事件，它只在乎这一帧的平均像素差。模型级的研究早嗅到过这股错位：按视觉质量排的座次，和按任务成功排的座次，可以差出十万八千里。但"错在哪"一直是黑箱——误差是摊在 60 步上，还是挤在几步里？没人拆开看过。
这篇论文的工作，就是拆。
🔧 外科手术：同一 context，同一动作，只换画家
诊断的设计，干净得像一台外科手术。
核心想法一句话：给每条想象轨迹配一条"平行宇宙"的轨迹——从同一个 context（开局画面）出发，按下完全相同的动作序列，唯一的区别是：一条的帧由世界模型画，另一条的帧由真机（Atari 模拟器）画。两条轨迹像双胞胎，一个活在梦里，一个活在现实。为什么要费尽周折配这条平行轨迹？因为只有把 context 和动作序列全部锁死，"画面是谁画的"才成为唯一变量：动作不同，回报差可能来自动作；起点不同，可能来自开局。外科手术的整个前提是无菌——任何一处污染，"换帧改变回报"这条因果链就断了。
然后，换一个"裁判"来读分。这个裁判是一个冻结的、无记忆的检测器：每个游戏训练一个，全体模型共用；它读连续两帧画面加动作，输出"这一步有没有奖励、有没有终止"。它不认识任何模型，不带记忆，不会偏袒——上岗门槛是：在独立数据上奖励事件的 F1 必须过 0.90。从此回报不再是模型自己说了算，而是由外部裁判从画面里重新读出。
手术刀随之落下：逐转换替换（transition-level substitution）。把想象轨迹里某一步的"两帧画面"抠掉，换上真机在同一步画的同两帧，其余帧原封不动，再请裁判重读回报。换掉的那一步变了，回报就只在变的那一步上动——误差被精确钉在转换级别上。
四种补丁（patch），四种问题：
1. 事件 patch：换掉真实发生奖励或终止的那几步（前后各扩一步——记分牌的数字往往晚一帧才现身，这个膨胀本身就是测量的一部分）； 2. 随机 patch：换掉同样数量的随机步。这是预算匹配对照（budget-matched control），关键至极，下文再表； 3. 补集 patch：换掉事件之外的所有步，度量"事件以外还剩多少错"； 4. 全真 patch：全换，作为天花板。
两个数字定义全文度量：R，换回真帧后回报误差的下降比例；lift，事件 patch 的 R 减去随机 patch 的 R——只有扣掉"随机乱换也能碰运气"的部分，多出来的才是瞄准的功劳。
为什么要如此较劲一个随机对照？因为随机 patch 也会撞上真事件，撞上的概率随覆盖率增长。Seaquest 上，DIAMOND 与 Simulus 都呈现一种假象：两种 patch 随覆盖变大都能移除更多误差——单看事件 patch 的数字，你会高估瞄准效果；减掉随机对照，lift 才露出真相。这套哲学，三部曲的读者会觉得眼熟：先建一个能通过全部常规检查的对照组，再谈你的方法赢了多少。
实验台：Atari-100k 的 26 个游戏，64×64 画面，frameskip 4，每游戏 400 条探针；奖励只按符号计入回报（与 Atari-100k 训练一致），全游戏共用一把尺；规划时域 H=60，折扣 γ=0.99。三个发布家族 + 三个本地训练的 Breakout 模型，共 44 对通过可靠性检验，进入计数。另有一份预先写好的剧本：Kangaroo 被预先指定为"无效应"案例——在结果揭晓之前就定下。
💥 事件帧看不出异常，却扛着七成的错
第一锤，砸在"哪里错"。
先看显微镜下的样子。对 DIAMOND on Freeway，把 60 步里的 2.8 步换回真的，回报误差移除 69%——随机换同样多的步，是 −4%；全换真的，86%。Pong 上，2.1 步换回真的移除 43%，随机只有 5%。九个扫描曲线里八个，事件曲线稳稳压在随机曲线上方。两三步，决定一条轨迹的生死。
Seaquest 里一个具体的画面：把一次奖励周围的 3 个转换换回真的，回报误差几乎清零；换 3 个随机转换，纹丝不动。三步之内，就是一条轨迹的全部账目。
再看全景比分。 44 对里，事件 patch 的 lift 为正的 39 对，符号检验 p=1.4×10⁻⁷——意思是：若事件与随机纯属等价，凑出 39:5 这个比分的可能性不到千万分之二。中位优势 +44 个百分点（探针自助法 95% 区间里，38 对纯在零上，2 对跨过零线，4 对在零下——不好看的也如实摆出来）。三个发布家族全部为正；除 MsPacman 外，每个有计数游戏的中位 lift 都为正（逐游戏符号检验 p=5.2×10⁻⁴）。规则写下之后，作者又追加了 18 个游戏——图案纹丝不动。
翻几张表1的切片，感受效应的形状：
- Pong，事件覆盖率只有 3.5%——60 步里约两步——lift 却达 +36/+45/+59（三个家族）；
- Frostbite，12% 覆盖，lift 最高冲到 +238；
- Kangaroo +74/+92/+36，KungFuMaster +75/+67/+75，Freeway +72/+38/+71；
- 也有诚实的反例：Seaquest（10.7% 覆盖）上，三个家族 +48/−33/+45——那个负值被留在表里，而不是被平均掉。
最反直觉的一击来了：事件帧本身的画质。 事件帧与其他帧的像素误差之比，中位数 0.85——决定得分的那几帧，画得比平均水平还略好一点。那换成"挑回报误差最大的帧"呢？按 MSE 挑，lift −1.1；按 SSIM，−1.2；按 LPIPS，−0.8——全是负数，且它们命中真实事件的比例只有 15%–19%。按像素指标精挑细选，不如闭眼随机。
读三遍。整个领域用了多年的画质排行榜，在"找出哪一步害了规划器"这件事上，跑输了一把骰子。
这不是检测器的幻觉。作者把洞都堵了：换成各模型自己的 reward head 重读，25 对可靠读数全部为正（中位 +46，与检测器的秩相关 0.85）；把 Pong 和 Freeway 的比分牌藏起来，6 对依旧全正（中位 +64）；换折扣、换时域，39–41 对为正；三个采样种子只把 lift 挪动中位 2.0 个点。误差坚如磐石地待在事件里，而事件面无异常。
失效模式也做了分类：33 对事件主导，5 对非事件主导，6 对未分类（判别线 ±0.20）。多数模型死法相同——漏画真事件。最扎眼的是 DIAMOND on Boxing：想象的回报 6.67，真实只有 2.31——它凭空画出了根本没发生的得分事件，像会计在账本上虚构三笔进账。而 Simulus on Freeway 是教科书式事件主导：事件 patch 移除 72% 误差，补集 patch 是 −16%（动了非事件帧，反而添乱）。
这个 33/5/6 的分布本身就是信息。若误差均匀散布，补集 patch 该和事件 patch 平分秋色；实际是 33:5——多数模型的病灶高度一致：该画的事件没画。5 个非事件主导个案同样宝贵，提醒"事件中心"不是万能叙事。最耐人寻味的是 Boxing 那笔账：DIAMOND 在自家 reward head 看来竟是事件主导——检测器读不出来的错，模型自己的账本读得出来。两件工具互相校对，比单一权威更接近真相。
换回事件帧，移除的回报误差中位数是 70%。装修精美的影院，银幕上每一帧都美轮美奂，票房在关键时刻一笔没入账——现在我们知道，缺账的恰恰是入账的那一格。
🔬 缺席，不是迟到
第一锤定住"错在哪"，第二锤追问"为什么错"。
漏画一个事件，只有两种可能：迟到——事件画了，只是画在邻近的另一步；或者缺席——根本没画出裁判读得出来的样子。两种死法，验尸曲线不同：给检测器越来越宽的"时间容差" τ，迟到的事件应大批归队，缺席的不会。
数据站队站得干脆。Freeway 上，MSE 基线在 τ=0 时事件召回 0.091，放宽到 τ=8 也只爬到 0.153；而"把预测整体错位"的虚假对照都有 0.028——放宽对齐几乎没捞回什么。五个游戏上，τ=8 时至少 76% 的召回缺口仍原样躺在那里。
大多数缺失的事件是缺席，不是迟到。 账本上不是记错了行，是那一笔压根没记。
这个区分立刻变成生产力。缺席意味着：换一个真能把事件画出来的模型，就该修好，且修好的幅度应与基线漏得多少成正比。于是，在还不知道四个修复结果之前，作者写下一条预注册规则：
基线事件召回 < 0.50 → 预测 diffusion 模型能显著降低回报误差（超过该游戏预设的 floor）；召回 ≥ 0.50 → 预测不能。
修复方案：把确定性的 MSE 预测网络换成 diffusion 模型（DDPM，Ho et al., 2020）——同样的数据、同样的 8k 步训练、同样的种子，只改"采样未来"代替"回归未来"。（MSE 基线那边多练到 30k 步，因为 8k 步时它在 Freeway 和 Pong 上连回报都读不出——对照公平到偏执。）
为什么 MSE 网络偏偏漏事件？因为均方误差是个胆小鬼。它学的是"下一步平均长什么样"，稀有事件——得分那一帧——在数据里凤毛麟角，回归目标便把预测拉向均值：模糊的背景，平滑的运动。diffusion 网络换了条路：不预测平均，学整个分布，再采样。稀有模式蹲在分布的尾巴上，尾巴难画，但采得到。Freeway 上事件召回 0.94 对 0.09，就是这个结构差异的证词。更漂亮的是反转：消融里那个被确定性训练的 diffusion 网络，照样保住了事件——药在架构如何表示"未来有多个可能"，不在掷不掷骰子。
规则本身也值得停半秒。 预注册意味着弹道在靶子挂出之前就写下，不是对着弹孔画圈。Kangaroo 那个"无效应"预判赌的是：baseline 召回本就高，事件已画全——开奖时它果然站在 ≥0.50 那一侧。猜中不稀奇，把猜测钉在纸面上再开奖才稀奇。机器学习论文里罕见的仪式感，这里做成了方法论的骨架。
结果：4/4，规则全中。 Freeway 上回报误差下降 ΔE=+0.4503，是该游戏 floor 的 9 倍；前瞻的三个游戏全部兑现——Pong +0.1560、Breakout +0.5316、Seaquest +0.7802；三个采样种子的误差范围（0.0356、0.0278）都小于 ΔE 本身。一条写在开奖前的规则，四张奖券全中。反观 DIAMOND on Freeway，召回能从 0.767 提到 0.932，diffusion 模型在 τ=0 就站到 0.943——事件它真画。
消融再把功劳记清楚：把同一个 diffusion 网络用确定性的平方误差目标重训，Freeway 的事件照样保住（召回 0.95 对 0.94），五个游戏误差全部低于 MSE 基线。修复来自 diffusion 网络的结构，不是采样的随机性。
🛠️ 换对几步帧，规划器的眼睛就亮了
发现若停在诊断，那只是验尸报告。最后两问，是活人的问题：修好几步帧，规划真的变准吗？
还记得开头那个试了八条路线的规划器吗？这就是它的考场。A4 从 150 个真实模拟器状态出发，各摆 8 条候选计划，像采样规划器那样按想象回报排名，度量成对准确率（pairwise accuracy）与归一化 top-1 regret。12 对里 7 对通过可靠性检验（含 diffusion 模型）；按预注册规则追加 15 个游戏，又添 8 对（Freeway、CrazyClimber、Gopher）。结果：事件 patch 改善全部 7+8 对的成对准确率，随机 patch 的中位改变只有 +0.019（追加 8 对：事件 patch 中位 +0.156，随机 +0.012）；中位 top-1 regret 从 0.565 降到 0.141。Pong 上，diffusion 模型把成对准确率从 0.5000 推到 0.6110——随机加权对照只有 0.5007。
把这段与发现一拼起来：改变回报的转换，恰好就是改变排名的转换。误差不是装饰性瑕疵，它是决策事故的现场。
出了 Atari 是另一重考验。MiniGrid 和 Crafter 里没有记分牌，事件藏在世界本身——门开了，钥匙到手了；iVideoGPT 在 robosuite 的机械臂画面里接受检验。诊断跨得过像素风格，也跨得过奖励密度：稀疏奖励的 cartpole 上，三笔过检验的比较给出 +54/+54 的 lift（两种架构各一），ball-in-cup +8。奖励事件稀罕的地方，同样的集中度照常出现。一个现象若在三个家族、二十几个游戏、机械臂和网格世界里反复现身，它就不再是巧合，是性质。
🔄 该问的不是"画得像不像"
把镜头拉回原处，看看这台手术改变了什么。
这篇文章没有提出新模型，没有刷任何榜。它只做了一件事：把"世界模型好不好"这个问题，从渲染质量的平面，拽回决策后果的平面。过去我们问："这帧画得多像？" 今后得加一问："回报的错误出在哪一步？" 在 44 对数据跑输骰子那一幕之前，这两个问题看起来还是同一个问题。
对从业者，这是立刻能用的东西：诊断只读渲染帧，黑盒对待任何发布模型，不必碰内部权重；预注册规则更是免费的政策工具——测一下基线的事件召回，低于 0.50，就该认真考虑 diffusion 架构。对模型发布，可以大胆想象一张新表格：今后报告世界模型，除了 MSE/SSIM/LPIPS，附一页"回报误差定位图"——误差百分之几落在事件上、随机对照扣过没有、召回曲线长什么样。像素指标是食品包装上的外观照片，return-error localization 才是配料表。NLP 社区用 model card 立住了诚信，世界模型社区还欠一张。对未来评测，这是一份起诉书：当一个模型在 MSE 榜登顶，它对规划器可能依然是那家会计失忆的影院——影评人（像素指标）打满五星，票房在关键时刻一笔没入账。
诚实的边界也得划上。回报是经外部检测器从画面里读出来的——它是有 F1 门槛的代理，不是上帝视角（所以作者拿各模型自带的 reward head 交叉验证过）；终止信号只承载中位 0.7% 的误差，这份诊断本质上是关于奖励事件的；探针 400 条、规划时域 60 步，更长的想象里误差如何传播，这里没有答案。另有 concurrent work 互证：另一组研究者独立地在五个冻结 Pong 世界模型里发现了球的消失与无效的球板交互——病灶不同，但"画面无恙、物理已病"的诊断书，两份。
最后留一个画面。
还是那个房产中介。下次有人带你去看一套装修评分满分的房子，记住这篇论文的教训：别先赞叹大理石。先翻到产权证明该盖章的那几页，看一眼——章在不在。
装修评分从来不测这个洞。而过去很多年，整个领域都只看装修评分。
参考文献
- Liu, H., & Tang, X. (2026). *Events, Not Pixels: Where World Models Get the Return Wrong*. arXiv: 2610.29435. https://arxiv.org/abs/2610.29435
- Ha, D., & Schmidhuber, J. (2018). Recurrent World Models Facilitate Policy Evolution. NeurIPS 31.
- Hafner, D., et al. (2019). Dream to Control: Learning Behaviors by Latent Imagination (Dreamer). ICML 2019.
- Hafner, D., et al. (2020). Mastering Atari with Discrete World Models (DreamerV2). ICLR 2021.
- Schrittwieser, J., et al. (2020). Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model (MuZero). *Nature* 588.
- Alonso, E., et al. (2024). DIAMOND: Diffusion for World Modeling. NeurIPS 37.
- Micheli, V., Alonso, E., & Fleuret, F. (2023). IRIS: Transformers Are Sample-Efficient World Learners. ICLR 2023.
- Cohen, A., et al. (2025). Simulus. arXiv:2502.11537.
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models (DDPM). NeurIPS 33.
#论文解读 #证据的质地 #arXiv #世界模型 #强化学习 #评估范式