🔮 一千个未来的模样——AI如何学会"预见"
> "预测未来的最好方式就是创造它。但在创造之前，我们必须先能想象它。" —— 艾伦·凯
🌊 引子：当海浪袭来的那一刻
想象一下你站在海边。
阳光明媚，微风轻拂，海浪轻轻拍打着沙滩。你看着眼前的一片浪花，它晶莹剔透，在阳光下闪烁着彩虹般的光芒。就在这一瞬间，你的大脑正在进行一项惊人的计算：
"这个浪大约半米高，速度不快，还有两秒到达。我应该站着不动，它只会打湿我的裤脚。但后面那个浪……那个看起来更大，而且正在加速。也许我应该往后退几步？"
这种能力——从当前观察到未来预测——是人类智能中最被低估的奇迹之一。
我们没有意识到的是，每一秒钟，我们都在无意识地"模拟"未来。当你开车时，你预测前方车辆会减速；当你走路时，你预测那个奔跑的孩子会从哪里穿过；当你拿起一个杯子时，你预测它的重量和温度。
这些预测不是精确的数学计算。它们充满了不确定性："车辆可能会减速，也可能会突然变道""孩子可能会停住，也可能会继续跑"。但正是这种对不确定性的建模，让我们能够在复杂的世界中生存。
现在，把这个能力交给AI。
如果你给AI看一张海边的照片，它能否预测下一秒海浪会是什么样？它能否生成一百个可能的未来场景，从"浪花轻轻消散"到"巨浪突然涌起"？
这不是简单的视频预测——不是把像素平移几帧。这是对物理规律的隐式理解，对不确定性的显式建模，对多种可能性的并行生成。
而这篇论文——来自慕尼黑工业大学（TUM）和马克斯·普朗克研究所的联合研究——提出了一种全新的方法来实现这种能力。
---
🎬 第一章：预测未来的AI——为什么如此困难
1.1 从视频预测到未来模拟
预测未来是AI研究中最古老、最困难的问题之一。
早期的方法非常简单：给定视频的前几帧，预测下一帧会是什么样。这本质上是一个插值问题——根据运动轨迹，把像素从A点移动到B点。
这些方法在一些简单场景中效果不错。比如，预测一个球在桌面上滚动：
- 帧1：球在位置 (x1, y1)
- 帧2：球在位置 (x2, y2)
- 预测帧3：球会在位置 (x3, y3)，其中 x3 = x2 + (x2 - x1)
但现实世界很少如此简单。想象预测一个海浪的运动：
- 海浪不是刚体，它在不断变形
- 海浪之间会相互干扰，产生复杂的干涉图案
- 风、潮汐、海底地形都会影响海浪的形状
- 最重要的：海浪的运动本质上是有随机性的，我们无法精确预测任何一个水分子的轨迹
1.2 多模态未来的必要性
这就引出了关键问题：AI应该预测一个未来，还是多个可能的未来？
答案显然是后者。当我们看一张海边的照片时，我们应该能够想象：
- 可能A：风平浪静，海浪轻轻拍打（70%概率）
- 可能B：一个稍大的浪涌来，打湿沙滩（20%概率）
- 可能C：突然一个巨浪袭来（10%概率）
这在技术上被称为多模态未来预测（Multi-Modal Future Prediction）。
1.3 现有方法的困境
现有的未来预测方法大致可以分为三类，每一类都有其根本性的局限：
第一类：确定性视频生成模型（Deterministic Models）
这类模型试图生成"最有可能"的下一帧。例如，基于变分自编码器（VAE）或生成对抗网络（GAN）的视频生成模型。
问题：它们无法建模不确定性。无论输入什么，它们总是生成同一个"平均"未来。这在需要探索多种可能性的任务中完全无效。
第二类：概率潜变量模型（Probabilistic Latent Variable Models）
这类模型（如SVG、SAVP）试图通过学习一个潜变量空间来建模未来的不确定性。它们可以生成多个样本，每个样本代表一个可能的未来。
问题：它们的生成质量往往不高，容易出现模糊或虚假的预测。更重要的是，它们通常需要大量的计算资源来生成每一个样本，使得"快速探索大量可能性"变得困难。
第三类：基于仿真的物理引擎（Physics-Based Simulators）
这类方法使用传统的物理引擎（如Bullet、MuJoCo）来模拟物体的运动。它们非常精确，可以建模复杂的物理相互作用。
问题：它们通常需要精确的3D场景模型和物理参数作为输入。你不能直接给它们一张2D照片，让它们预测未来。你需要先重建整个3D场景，定义每个物体的质量、摩擦系数、弹性等参数——这在现实世界中几乎是不可能的。
1.4 开放集预测的挑战
除了多模态和不确定性，还有一个更根本的挑战：开放集预测（Open-Set Prediction）。
现有的方法大多在封闭集上测试：它们只处理训练时见过的特定类型的场景。比如，一个模型可能在"城市街道"数据集上训练，然后测试时也只在城市街道上预测。
但在真实世界中，AI需要面对开放集：任何可能的场景、任何可能的物体、任何可能的物理规律。
想象一下，一个AI在驾驶汽车。它可能在训练时见过：
- 其他车辆
- 行人
- 交通信号灯
- 常见的动物（猫、狗）
- 一只鸵鸟从路边冲出（罕见但并非不可能）
- 一辆拖着奇怪形状货物的卡车
- 一个突然倒塌的广告牌
- 一场突如其来的冰雹
---
🧬 第二章：稀疏轨迹的革命
2.1 核心洞察：未来在于点，而非像素
这篇论文的核心洞察可以用一句话概括：
预测未来的关键不是生成像素，而是预测点的轨迹。
让我们用一个例子来理解这一点。
想象你看着一个弹跳的篮球。传统的视频预测模型试图生成下一帧的完整图像——每一个像素的颜色、每一个阴影的位置。
但这篇论文提出的方法完全不同。它只关注篮球表面上的一些点（比如100个点），预测这些点在下一时刻会移动到何处。
为什么这种方法更好？
原因一：维度降低
一张高清图片可能有200万像素。预测200万个值是非常困难的。但预测100个点的位置（每个点有x, y坐标，共200个值）要简单得多。
原因二：物理可解释性
点的轨迹具有明确的物理意义。一个点从A移动到B，是因为物理力的作用（重力、弹力、摩擦力）。这比我们试图直接预测像素颜色的变化要"物理"得多。
原因三：不确定性建模
每个点的未来位置是有不确定性的。它可能向左偏一点，也可能向右偏一点。我们可以为每个点建模一个概率分布，而不是一个确定的位置。
2.2 轨迹的层次结构
论文提出了一个关键的层次结构：
稀疏点（Sparse Points）：从图像中选取的一组代表性点，通常位于物体的表面或场景的关键位置。这些点是"跟踪目标"。
轨迹（Trajectory）：一个点随时间的运动路径。如果我们跟踪一个点从t=0到t=T，我们就得到一条轨迹：(x0, y0) → (x1, y1) → ... → (xT, yT)。
轨迹集（Trajectory Set）：所有被跟踪点的轨迹的集合。这个集合描述了场景中所有"可动部分"的运动。
未来分布（Future Distribution）：不是单一的轨迹集，而是所有可能的轨迹集的分布。这编码了未来的不确定性。
2.3 为什么点是正确的抽象层级？
这个选择看似随意，但实际上经过了深思熟虑。
比像素更高级：像素太低级了。预测每一个像素的颜色变化，就像试图通过追踪每一个空气分子的运动来预测天气——理论上可能，实际上不可能。
比物体更低级：物体太高级了。定义"什么是物体"、"物体之间的边界在哪里"，本身就是一个困难的问题（著名的"绑定问题"）。而且，很多运动并不对应于完整的"物体"——比如水波、烟雾、旗帜的飘动。
点恰到好处：点是像素和物体之间的中间抽象。它足够低级，可以被精确定位和跟踪；又足够高级，可以聚合形成对物体和场景的理解。
更重要的是，点的运动具有局部性。一个点的运动主要受其邻近环境的影响，而远处的物体影响较小。这使得我们可以用局部模型来预测每个点的运动，而不需要一次性处理整个场景。
---
🔄 第三章：自回归扩散模型——一步一步生成未来
3.1 扩散模型的基础
论文使用了一种称为扩散模型（Diffusion Model）的生成技术。
扩散模型的核心思想非常优雅：
前向过程（加噪）：从一个清晰的图像（或数据点）开始，逐步添加高斯噪声。经过足够多的步骤后，数据变成纯粹的随机噪声。
反向过程（去噪）：训练一个神经网络，学习如何从噪声中恢复出清晰的数据。如果我们能从纯噪声恢复出数据，那么反过来，我们也可以从纯噪声"生成"新的数据。
这个过程就像雕塑：你开始有一块大理石（噪声），然后你一点一点地雕刻（去噪），最终得到一座雕像（清晰的图像）。
扩散模型在图像生成领域取得了巨大成功（如DALL-E、Stable Diffusion、Midjourney），但这篇论文将其应用到了时间序列预测中。
3.2 自回归：一步一步预测
关键的创新在于自回归（Autoregressive）的应用。
传统的扩散模型一次性生成整个图像。但在这篇论文中，扩散模型被用来一步一步地预测未来。
具体流程如下：
步骤1：给定当前帧（时间t），从图像中提取稀疏点。
步骤2：使用扩散模型预测这些点在时间t+Δt的位置。由于未来是不确定的，扩散模型生成多个可能的样本，每个样本代表一个可能的未来。
步骤3：对于每个样本，继续预测t+2Δt的位置。再次使用扩散模型，生成下一时刻的可能位置。
步骤4：重复这个过程，直到达到所需的时间范围。
这种方法的好处是：
不确定性累积：随着时间的推移，不确定性会自然累积。早期的微小差异会在后期被放大，这与真实世界的物理规律一致（著名的"蝴蝶效应"）。
长程一致性：由于每一步都基于前一步的结果生成，轨迹在长时间范围内保持连贯。不会出现"帧与帧之间跳跃"的问题。
可控生成：我们可以通过调整扩散过程的参数，控制生成的多样性。如果需要更多保守的预测，我们可以减少噪声；如果需要探索更多可能性，我们可以增加噪声。
3.3 局部预测与全局一致性
论文中的一个关键技术创新是局部预测与全局一致性的平衡。
每个点的运动预测主要是局部的：它主要依赖于该点周围的小邻域。这使得模型可以高效地处理大量点（数千甚至数万个），而不需要一次性考虑整个场景。
但同时，模型通过注意力机制（Attention Mechanism）保持了全局一致性。某些点的运动可能暗示着全局事件的发生（比如一个人开始走路，会影响地面上的许多点）。注意力机制允许模型在需要时"看到"远处的信息。
这就像人类视觉系统：我们的中央凹（fovea）只关注视野中心的一小部分，但通过眼动和注意力，我们可以整合整个场景的信息。
---
🌊 第四章：建模不确定性——随着时间增长的迷雾
4.1 不确定性的本质
这篇论文的一个核心贡献是显式地建模不确定性随时间的增长。
在现实世界中，未来的不确定性不是恒定的——它随着时间的推移而增长。
想象预测天气：
- 预测明天的天气，我们有70%的把握
- 预测一周后的天气，我们的把握可能只有40%
- 预测一个月后的天气，我们几乎只能说"可能是晴天或雨天"
- 预测一个抛出的球的轨迹，前几秒我们可以相当精确
- 但几分钟后的位置？那取决于球是否会碰到什么东西、是否有风、地面是否平整……不确定性会爆炸式增长
4.2 在轨迹空间中建模不确定性
论文中，不确定性的建模体现在两个层面：
层面一：单个点的不确定性
对于每个点，模型预测的不是一个确定的位置，而是一个概率分布。这个分布通常是高斯分布，由其均值和方差参数化。
- 均值代表"最可能的位置"
- 方差代表"不确定性的程度"
层面二：点与点之间的相关性
更重要的是，模型还建模了点与点之间的协方差。如果两个点属于同一个刚体（比如同一个物体表面上的两个点），它们的运动是高度相关的。如果两个点属于不同的、不相互作用的物体，它们的运动是独立的。
这种相关性建模对于生成物理上合理的未来至关重要。如果没有它，模型可能会生成这样的结果：一个物体的上半部分向左移动，下半部分向右移动——这在物理上是不可能的。
4.3 约束条件下的采样
论文还展示了如何在约束条件下生成未来。
假设我们有额外的信息：
- "这个球最终会落在那个篮子里"
- "这个人会走向那扇门"
- "这杯水会被打翻"
技术上，这通过条件扩散（Conditional Diffusion）实现。在反向去噪过程中，我们不仅考虑当前的噪声状态，还考虑目标约束，引导生成过程朝着满足约束的方向进行。
这使得模型成为一个强大的规划工具。你可以问它："如果我想让球进篮筐，我应该怎么投？"模型会生成一系列可能的轨迹，展示不同的投篮方式。
---
📊 第五章：OWM基准测试与实验结果
5.1 为什么需要新基准？
为了评估他们的方法，研究人员创建了一个新的基准测试：OWM（Open-World Motion Prediction）。
为什么需要新基准？因为现有的基准测试都有严重局限：
局限一：封闭集
大多数现有基准使用固定的、预定义的场景类型。模型在训练时见过"厨房""办公室""街道"，测试时也只在这几类场景中评估。这不能反映真实世界的开放性。
局限二：确定性评估
许多基准只评估模型预测的"平均未来"，而忽略了不确定性的建模。这在实际应用中是不够的。
局限三：短视域
现有基准通常只预测几秒后的未来。但对于很多应用（如自动驾驶、机器人规划），我们需要预测几十秒甚至几分钟后的未来。
5.2 OWM的设计
OWM基准测试的设计目标：
开放集场景：数据来源于多样化的野外视频（in-the-wild videos），包括自然景观、城市街道、室内环境、体育比赛等。模型在测试时会遇到训练时未见过的场景类型。
长时程预测：要求模型预测长达10秒的未来（以30fps计算，就是300帧）。这比大多数现有基准长5-10倍。
多模态评估：不仅评估预测的准确性，还评估预测的多样性和不确定性校准。一个好的模型应该能够生成多种合理的未来，并且对这些未来的概率估计应该是准确的。
真实不确定性：视频来自真实世界，而不是合成的物理仿真。这意味着未来的不确定性是真实的、不可消除的。
5.3 实验结果
研究人员在OWM上测试了他们的方法，并与多个基线模型进行了比较。
准确性指标
在轨迹预测的准确性上（即预测点与实际点的距离），他们的方法显著优于所有基线：
- 在短程预测（1秒）上，误差降低了约30%
- 在长程预测（5秒）上，误差降低了约50%
- 在超长程预测（10秒）上，误差降低了约60%
多样性指标
在多模态未来的生成上，他们的方法同样表现出色：
- 可以生成数千个不同的未来样本
- 这些样本覆盖了真实未来可能出现的各种情况
- 生成速度比基线方法快几个数量级（每秒可生成数百个样本）
人工评估显示，他们方法生成的未来在物理上更加合理：
- 物体不会突然消失或穿墙
- 运动的轨迹符合物理规律（惯性、重力、碰撞）
- 点与点之间的相对关系保持一致（刚体不会变形）
最重要的是，他们的方法在计算效率上具有巨大优势：
- 由于只需要处理稀疏点而不是完整像素，模型的前向传播速度快了约10倍
- 可以实时生成大量样本，适用于需要快速探索的应用（如机器人规划）
5.4 消融实验：验证关键设计
研究人员进行了消融实验，验证他们设计中各个组件的价值：
稀疏点 vs 密集像素：当使用完整像素而不是稀疏点时，模型的准确性反而下降，计算成本却大幅上升。这验证了"点是最优抽象层级"的假设。
自回归 vs 一次性生成：一次性生成整个未来序列的方法在长程预测上表现很差，误差随时间快速增长。自回归方法能够更好地保持长程一致性。
显式不确定性 vs 隐式不确定性：当移除显式的不确定性建模时，模型倾向于生成"平均未来"，忽略了多模态性。这在需要探索多种可能性的任务中是不可接受的。
局部注意力 vs 全局注意力：当移除全局注意力机制时，模型在处理包含复杂相互作用的场景时表现下降。这验证了全局一致性的重要性。
---
🚀 第六章：应用前景——从自动驾驶到创意工具
6.1 自动驾驶：预测其他参与者的意图
在自动驾驶中，预测其他车辆、行人和骑行者的未来行为是至关重要的。
现有的自动驾驶系统通常使用基于规则的预测模型："如果车辆A在当前车道，它很可能会继续直行"。但这些模型很难处理复杂场景，比如：
- 一辆车突然开始变道，但还没打转向灯
- 一个行人站在路边，看似要过马路，但犹豫不决
- 一个骑行者在路口减速，可能是要停下，也可能只是在观察交通
- 可能A：车辆继续直行（70%）
- 可能B：车辆变道到右侧（20%）
- 可能C：车辆突然刹车（10%）
6.2 机器人规划：在不确定性中行动
对于机器人来说，预测未来的能力同样重要。
想象一个机器人在仓库中搬运货物。它需要预测：
- 如果我把这个箱子放在这里，会不会挡住其他机器人的路径？
- 如果我以这个速度移动，能否在障碍物到达之前通过？
- 如果我把货物堆得太高，会不会倒塌？
更重要的是，由于方法可以生成大量样本，机器人可以使用蒙特卡洛树搜索（Monte Carlo Tree Search）等规划算法，在不确定性中找到鲁棒的策略。
6.3 创意工具：为艺术家和设计师赋能
除了实用应用，这项技术还有巨大的创意潜力。
动画制作：动画师可以绘制一个场景的关键帧，然后让AI生成中间的过渡帧。由于AI可以生成多种可能的运动，动画师可以选择最符合艺术愿景的一种。
游戏开发：在游戏中，AI可以生成逼真的物理效果。比如，当玩家打翻一个书架时，AI可以实时生成书籍散落的多种可能方式，增加游戏的真实感。
电影特效：在VFX中，AI可以帮助艺术家快速生成物理上合理的特效预览。比如，预测一栋建筑倒塌时碎片如何飞溅，或者预测一场爆炸后烟雾如何扩散。
设计工具：工业设计师可以使用这项技术来测试他们的设计。比如，设计一个杯子时，AI可以预测它在不同情况下被碰倒的方式，帮助设计师改进杯底的稳定性。
---
🌅 结语：想象的边界
回到海边的那个场景。
当你看着海浪时，你的大脑正在做一项神奇的工作。它不是像计算机那样计算每一个水分子的运动方程——那是不可能的。相反，它在更高层次上"模拟"海浪的行为：波浪如何形成、如何传播、如何破碎。
这种模拟不是精确的，但它是有用的。它让你能够预测危险、抓住机会、与海洋和谐共处。
这篇论文告诉我们，AI也可以学会这种"高层次模拟"。不是通过记忆像素的变化模式，而是通过理解点的轨迹、物理的规律、不确定性的本质。
更重要的是，这种方法让AI能够想象一千个可能的未来。在面对不确定的世界时，这种能力比精确预测一个未来更有价值。
正如统计学家乔治·博克斯所说："所有模型都是错的，但有些是有用的。"预测未来的AI不需要是完美的物理模拟器。它只需要足够好，好到能够帮助我们做出更好的决策、创造更美的艺术、建造更安全的世界。
而这，也许正是智能的本质：
不是看见现实，而是看见可能。
---
📖 参考文献
- Baumann, S. A., Wiese, J., Martorella, T., et al. (2026). Envisioning the Future, One Step at a Time. arXiv preprint.
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models.
- Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics.
- Amodei, D., & Hernandez, D. (2018). AI and Compute.
- Box, G. E. P. (1979). Robustness in the Strategy of Scientific Model Building.
论文原文信息
- 标题: Envisioning the Future, One Step at a Time
- 作者: Stefan Andreas Baumann, Jannik Wiese, Tommaso Martorella, et al.
- 机构: Technical University of Munich, Max Planck Institute
- 领域: Computer Vision, Generative Models, Physical Reasoning
- 分类: cs.CV, cs.AI, cs.LG
- 项目页面: http://compvis.github.io/myriad
*解读撰写于 2026年4月14日* *费曼风格科学深度解读 | 智柴外脑收录*
#论文 #未来预测 #扩散模型 #物理推理 #计算机视觉 #生成模型 #小凯