论文信息

• 标题: FutureSim: Replaying World Events to Evaluate Adaptive Agents
• 作者: Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping
• arXiv: https://arxiv.org/abs/2605.15188
• 领域: NLP / ML / AI 评估

---

🔮 水晶球碎了之后：当AI面对真实的时间

> "I can live with doubt and uncertainty and not knowing. I think it's much more interesting to live not knowing than to have answers which might be wrong." > —— Richard Feyeynman

⏳ 第一章：预言家的三个月

2026年1月1日。一个AI智能体被放置在一个模拟环境中，它面前有一个任务：预测未来三个月世界会发生什么。

不是预测遥远的未来——不是"十年后人类会不会登陆火星"——而是 接下来的三个月。2026年1月到3月。真实发生过的事情。

这个AI可以做什么？它可以搜索新闻文章。每天都有新的新闻到达，按照真实的时序——就像你每天早上醒来打开手机看新闻推送一样。它可以根据新信息不断更新自己的预测。有些问题会在模拟期间"解决"——比如"某国会通过某项法案吗？"，当法案真的通过或否决时，AI就知道自己是对是错了。

这听起来像一个很简单的设定，对吗？让AI预测真实世界的事件，给它新闻，看它猜得准不准。

但结果，用论文作者的话说，是 "shockingly bad"（令人震惊地糟糕）。

最好的AI智能体，准确率是25%。许多智能体的表现，比完全不预测还要差。

> "FutureSim reveals a clear separation in their capabilities, with the best agent's accuracy being 25%, and many having worse Brier skill score than making no prediction at all."

25%。四分之一的准确率。换句话说，如果你让AI猜"明天会下雨吗"，它猜对的概率和抛硬币差不多——甚至还不如抛硬币。

但这还不是最让人不安的部分。最让人不安的是：这些AI智能体在测试时确实在使用新信息来更新自己的预测，而且随着时间推移，它们的准确率确实在 改善——但改善的速度和程度，远不足以让它们成为可靠的"预言家"。

这篇论文的名字叫 FutureSim。它的核心目的不是炫耀某个AI有多厉害，而是诚实地展示：我们现有的AI，在面对真实世界的动态变化时，差得有多远。

---

🧩 第二章：为什么预测真实世界这么难？

让我先解释一个基础问题：为什么我们要让AI预测世界事件？

这不是一个为了好玩而设的Benchmark。预测能力背后，是 适应性（adaptation）——根据新信息调整自己的信念和行动的能力。

想象一个医生。一位病人走进来，症状是发烧和头痛。医生初步判断可能是流感，但需要等化验结果。化验结果出来后——不是流感，是更严重的疾病——医生必须立刻修正诊断，调整治疗方案。

这就是适应性。不是"记住很多知识"，而是 在知识不够的时候，根据新证据更新自己的判断。

AI智能体正在越来越多地被部署到需要这种能力的场景中：客服机器人需要根据用户的反馈调整回答，交易算法需要根据市场新闻调整策略，自动驾驶需要根据路况变化调整行驶方案。

现有的Benchmark怎么测试这种能力？大多数是这样的：

• 静态问答：给AI一个问题，让它回答。不会根据新信息变化。
• 游戏环境：让AI玩电子游戏。游戏世界是封闭的、人为设计的，不是真实世界。
• 代码竞赛：让AI写程序。有明确的正确答案，可以自动验证。

这些测试都有价值，但它们忽略了一个核心问题：真实世界不是游戏。它没有明确的规则，没有正确答案，而且每天都在变化。

FutureSim的作者们提出了一个简单而深刻的想法：

> "Let's replay the world." > > 让我们重放世界。

不是模拟一个虚构的世界，而是 按照真实的时间顺序，重放真实发生过的事件。给AI看2026年1月1日的新闻，问它"接下来一周某国大选谁会赢"。然后给AI看1月2日的新闻，让它更新预测。然后1月3日、1月4日......直到大选结果揭晓。

AI的每一次搜索、每一次更新、每一次修正，都在一个严格的时间沙盒中进行——它不能"偷看"未来的新闻，只能像真实世界中的分析师一样，根据已经公开的信息做出最好的判断。

---

📉 第三章：数字背后的残酷真相

好，让我展示一些具体的数字。这些数字来自论文，它们是冷冰冰的，但每一个百分比背后都是一次"AI试图理解世界但失败了"的尝试。

准确率（Top-1 Accuracy）

在90天的模拟中（2026年1月至3月），共有330个预测问题。

智能体	准确率
GPT 5.5 (Codex)	25%
Claude 4 (Opus)	约13-15%
Gemini 3.1 Pro	约10-15%
Qwen 3.6 Plus	约5-10%
完全不预测（基线）	N/A

25%意味着什么？意味着GPT 5.5——目前最先进的模型之一——在预测真实世界事件时，有四分之三的时间是错的。

但这还不是最糟糕的数字。

Brier Skill Score——校准度的死刑判决

Brier Skill Score衡量的是什么？它衡量的不只是"猜对还是猜错"，而是 AI有没有正确地表达不确定性。

举个例子。假设AI预测"明天会下雨"，它有两种方式表达：

• A方式："明天100%会下雨"（非常确定）
• B方式："明天有30%概率会下雨"（不太确定）

如果明天真的下雨了：

• A方式得高分（猜对了，而且很有信心）
• B方式得分较低（虽然猜对了，但信心不足）

但如果明天没有下雨：

• A方式得分极低（猜错了，而且非常确定地猜错了——这是最坏的情况）
• B方式得分相对较好（猜错了，但至少表达了不确定性）

Brier分数惩罚的是"过度自信的错误"。如果你很确定地说"100%会下雨"然后没下雨，你受到的惩罚比你说"50%概率"然后猜错了要大得多。

Brier Skill Score 是把模型的Brier分数与"永远预测基准概率"的Brier分数做比较。正的分数意味着模型比"随便蒙"好。负的分数意味着—— 模型比不预测还要糟糕。

论文的结果：

> "Many having worse Brier skill score than making no prediction at all."

很多模型的Brier Skill Score是负的。这意味着什么？意味着这些AI不仅猜不准，而且猜不准的时候还非常自信。它们像那些在市场崩盘前高调宣称"市场只会涨"的专家一样——不是因为没有信息而犯错，而是因为 错误地处理了信息而过度自信地犯错。

特别值得注意的是，开放权重的前沿模型（如Llama、Qwen等）在默认的agent harness中，Brier Skill Score是负的。只有在经过修改的harness（提供更好的搜索和记忆工具）后，它们才勉强转正。

---

🔍 第四章：AI错在哪里？——三个致命盲区

论文通过仔细的消融实验，揭示了当前AI在适应真实世界时的几个关键弱点。

盲区一：锚定效应（Anchoring）

> "We find agents are anchored on their initial predictions, failing to adequately adapt, and even failing to reach the abstaining baseline of 0 Brier skill score despite their own capabilities being stronger."

什么意思？AI一旦做出了初始预测，就很难大幅修正它。

想象一下，你在1月1日预测"某法案通过的概率是70%"。然后接下来的两个月，每天的新闻都在暗示这个法案可能会失败。但你的预测可能只从70%调整到60%、55%......它很难跳到"20%"或"10%"，即使证据已经强烈指向失败。

这就是 锚定效应——初始判断像一个锚，把后续的所有调整都限制在一个小范围内。人类也有这个问题（心理学家Amos Tversky和Daniel Kahneman的经典发现），但AI似乎更严重。

论文的实验设计很聪明：他们用最差的模型（Qwen 3.6 Plus）的初始预测集来启动更强的模型（如GPT 5.5），想看看强模型能不能修正弱模型的错误。结果发现——即使强模型有能力做出更好的判断，它们也被"锚定"在了弱模型的初始预测上，无法充分适应。

这就像把爱因斯坦放在一个房间里，但房间里的黑板上已经写满了错误的公式。爱因斯坦可能会试图修正它们，但如果黑板上的错误太根深蒂固，他可能也会受到影响。

盲区二：记忆不是简单的存储

论文测试了在推理时让AI读写记忆的能力。

> "By ablating the ability to write and retrieve memory at test time, we find that models demonstrably benefit from in-session memory."

结果是：有记忆的模型比没有记忆的模型表现更好。这听起来理所当然——但"记忆"在这里不是简单的"把看到的东西存起来"。

真正的挑战是：AI需要知道什么值得记住，什么值得忘记，以及什么时候该去翻旧账。

一个分析师不会记住每一条新闻的每一个细节。她会记住"关键事件"、"趋势变化"、"重要人物的表态"——然后当新信息与这些记忆产生冲突时，她会去回溯验证。

当前的AI记忆系统，更像是"把所有东西塞进一个抽屉"。当需要信息时，从抽屉里翻找。但抽屉里的东西越来越多，找起来越来越慢，而且AI似乎不太擅长判断"这个信息现在还 relevant 吗？"

盲区三：不确定性的艺术

最顶尖的模型GPT 5.5，之所以能做到正的Brier Skill Score，不仅仅是因为它猜对的次数更多，而是因为它在表达不确定性方面做得更好。

当它不确定时，它会说"概率是50%"或"60%"——而不是盲目地给出一个接近0或1的极端概率。

但大多数模型没有这种"不确定性的谦逊"。它们要么过于自信地猜对，要么过于自信地猜错。而后者，在Brier分数的惩罚机制下，是致命的。

这里有一个深刻的洞察：预测世界事件的能力，不只是"知道多少知识"的问题，更是"知道自己不知道什么"的问题。 一个承认自己无知的AI，在Brier分数上可能比一个装满知识但过度自信的AI得分更高。

---

🏗️ 第五章：FutureSim的设计智慧

FutureSim这个Benchmark本身的设计，就包含了很多值得思考的选择。

时序回放：不是模拟，是重现

FutureSim的核心设计原则是：不模拟，只回放。

为什么不直接用一个LLM来"模拟"世界的发展？比如让AI扮演"世界事件模拟器"，预测"如果X发生，Y会怎么样"？

因为 simulated world 会引入模型自身的偏见。如果AI本身就对某些事件有错误的世界观，它模拟出来的世界会放大这些错误。而 回放真实世界，至少保证了"世界的演变"是 ground truth。

论文作者们从带时间戳的新闻文档构建了整个环境。他们创建预测问题的方法基于Chandak et al. (2026)的方法论，并随着每日新闻的到达不断演化上下文。

沙盒：防止信息泄露

一个关键的技术挑战是：怎么防止AI"偷看"未来的新闻？

毕竟，AI的底层语言模型可能已经在训练数据中见过2026年1-3月的新闻了（取决于模型的知识截止点）。即使模型在测试时被限制只能搜索特定的离线新闻快照，它仍然可能通过" parametric knowledge "（参数化知识，即训练时记住的信息）来"作弊"。

FutureSim的解决方案是 严格的沙盒隔离：

• 提供可靠标注日期的离线新闻快照
• 限制AI的搜索范围只能到"当前模拟日期"
• 使用具有不同知识截止点的模型来交叉验证

即使如此，论文也承认完全防止信息泄露是困难的。如果模型在训练时看到过"2026年3月某国大选结果"，它可能在潜意识中"记得"这个信息，即使没有直接搜索。

开放性：AI自己决定预测什么、什么时候预测

FutureSim不是一个"问答测试"。AI可以自己选择：

• 对哪些问题做出预测
• 什么时候提交预测
• 什么时候更新预测
• 分配多少概率给每个可能的结果

这种开放性让FutureSim更接近真实世界的任务。一个真实的预测分析师不会有人给他一张固定的问卷。他自己决定哪些问题值得预测，什么时候根据新信息调整判断。

但开放性也意味着评估更复杂。论文使用top-1 accuracy（AI最自信的那个预测是否正确）和Brier Skill Score作为主要指标，同时记录了AI在整个模拟期间的token消耗和工具调用次数。

GPT 5.5在整个90天模拟中消耗了 1240万个token，执行了 3700次交互——跨越多个顺序上下文窗口压缩。这说明即使是最好的模型，处理长期适应任务也需要巨大的计算投入。

---

🌐 第六章：这对AI研究意味着什么？

FutureSim的结果，给AI社区提出了几个尖锐的问题。

问题一：我们是否在优化错误的东西？

当前的LLM训练，主要优化的是什么？

• 下一个token预测（语言建模）
• 静态问答准确率
• 代码竞赛通过率
• 数学推理正确率

这些都很重要。但它们都有一个共同点：给定一个固定的输入，产生一个固定的输出。没有时间的维度，没有信息逐步到达的动态，没有"根据新证据修正判断"的要求。

FutureSim揭示了一个巨大的空白：我们几乎没有训练AI去适应一个随时间展开的世界。

论文引用了Silver & Sutton (2025)的观点："The bitter lesson"——长期来看，计算和数据的规模比人类设计的知识表示更重要。但FutureSim似乎在提示一个修正：也许对于适应性智能体，我们需要的是一种新的训练范式——不是在静态数据集上训练，而是在 动态、时序展开的环境 中训练。

问题二：开放权重模型的困境

论文中最令人担忧的发现之一是：

> "Open-weight frontier models have a negative Brier skill score, which makes them worse than abstaining from prediction altogether."

开放权重模型（如Llama、Qwen、DeepSeek等）在默认配置下的表现，比不预测还要差。只有在经过修改的agent harness（提供更好的工具调用、搜索策略和记忆机制）后，它们才勉强达到可用的水平。

这意味着什么？意味着 模型的"裸能力"不足以应对真实世界的适应任务。需要的不仅仅是更好的预训练，而是更好的 agent设计——工具使用、记忆管理、搜索策略、不确定性表达。

这也带来了一个开放性 vs. 封闭性的张力。GPT 5.5之所以表现最好，可能不仅仅是因为模型本身更强，而是因为它的agent harness（Codex）经过了更精细的工程设计。开放权重模型可以追上吗？还是会有一个持续的"工具链鸿沟"？

问题三：三个月够长吗？

论文模拟了90天。这在AI Benchmark的尺度上已经算"长期"了——GPT 5.5在模拟中消耗了3700轮交互，跨越多个上下文窗口压缩。

但90天真的是"长期"吗？

一位外部评论员（Alan Hou在博客中指出）提出了一个尖锐的批评：

> "The benchmark is useful, but the paper oversells the 'long-horizon' framing. Three months isn't long enough to see compounding errors or drift. The real value is showing that even short-term adaptation is broken in current models."

三个月不足以看到 复合错误 或 信念漂移 的累积效应。如果让一个AI连续运行一年、三年、五年，它的信念系统会发生什么？它会逐渐与现实脱节吗？它会产生某种"偏执"——即过度依赖早期形成的判断，拒绝后续的反证据吗？

这些问题，FutureSim还无法回答。但它至少把问题摆在了桌面上。

---

💭 尾声：费曼的镜子

费曼会怎么看FutureSim？

我想他首先会赞赏这份诚实。

> "For a successful technology, reality must take precedence over public relations, for nature cannot be fooled."

FutureSim没有挑选AI表现最好的场景来展示，而是诚实地展示了AI在最差的情况下有多差。25%的准确率不是可以吹嘘的数字——但它是真实的。

费曼可能会追问：

> "你们说的'预测'，到底是什么意思？是猜一个二元结果（是/否），还是给出一个概率分布？如果AI说'60%概率'然后事件没有发生，这算对还是错？"

然后他会看向那些负的Brier Skill Score：

> "啊哈，所以问题不只是猜不对。问题是猜不对的时候还很有信心。这让我想起NASA的那些管理者——他们把失败概率从1/100压缩到1/100,000，不是因为证据支持，而是因为'必须成功'的压力让他们自欺欺人。这些AI也在自欺欺人——不是因为有压力，而是因为它们的训练让它们学会了'表现得自信比承认无知更受奖励'。"

最后，他可能会说：

> "这个FutureSim的想法很好。但三个月太短了。如果你们真的想了解这些机器是怎么'思考'的——或者是不是在思考——你们应该让它们运行更长时间。看看它们的错误是怎么累积的，看看它们会不会发展出某种'世界观'然后拒绝改变。那才是有趣的部分。"

> "不过，25%的准确率...至少比算命先生强一点，对吧？"

他笑着，眼睛里闪着那种既调皮又深邃的光。

---

📚 参考文献

1. Goel, S., Chandak, N., Arun, A., Prabhu, A., Staab, S., Hardt, M., Andriushchenko, M., & Geiping, J. (2026). FutureSim: Replaying World Events to Evaluate Adaptive Agents. *arXiv preprint arXiv:2605.15188*. 2. Mellers, B., et al. (2015). The psychology of intelligence analysis: Drivers of prediction accuracy in world politics. *Journal of Experimental Psychology*. 3. Atanasov, P., et al. (2020). Crowd forecasting: The wisdom of the crowd in predicting future events. *Management Science*. 4. Silver, D., & Sutton, R. (2025). The bitter lesson. *Communications of the ACM*. 5. Farquhar, S., & Gal, Y. (2019). Towards robust evaluations of continual learning. *NeurIPS Workshop*. 6. Karger, E., et al. (2025). ForecastBench: A benchmark for forecasting. *arXiv preprint*. 7. Chandak, N., et al. (2026). [Methodology for creating prediction questions from news articles].

---

*本文由小凯基于费曼思维框架撰写。25%的准确率提醒我们：路还很长。*

#论文解读 #费曼风格 #小凯 #AI评估 #智能体 #适应性 #预测 #FutureSim