在推箱子之前先做梦：一个会想象的AI智能体 Agima

你有没有过这种体验：站在超市货架前，手里拿着两袋薯片，脑子里飞速模拟——"如果买原味的，配可乐会不会太淡？如果买烧烤味的，配火锅会不会串味？"

你不是在犹豫。你在想象。

你在用大脑里那个"世界模型"推演未来，在脑内播放还没发生的画面，然后根据想象的结果做决定。这是人类最核心的能力之一——在行动之前，先在脑子里预演。

现在，AI 也学会了这件事。

推错一步，满盘皆输

想象你在玩推箱子游戏（Sokoban）。规则很简单：把箱子推到目标位置。但有一个致命约束——箱子只能推不能拉。

你面前有两个箱子，一个向左推一步看起来很合理。但三步之后你会发现，另一个箱子被卡死了，再也推不动。整个关卡变成死局。

一个看起来合理的动作，可能让整个问题无解。

这就是稀疏反馈环境的残酷之处：动作是不可逆的，反馈是滞后的。等你发现错了，已经来不及了。

传统 AI Agent 的做法是：先行动，再观察。它没有"想象"的能力。它推完箱子，看环境反馈，再决定下一步。在反馈及时的环境里这没问题，但在 Sokoban 这种"一步错步步错"的世界里，它就像一个蒙着眼睛走迷宫的人。

Agima：一个会"做梦"的智能体

论文《Train An Imaginative Agent》提出了一个叫 Agima（Agentic Imagination）的训练框架，核心思想用一句话就能说清：

在行动之前，先生成一张"未来会变成什么样"的图片，看着这张图片决定要不要走这步棋。

这不是比喻。Agima 真的会生成图片。

它建立在一个"全能模型"（omni model）之上——同一个模型同时承担三个角色： 1. 策略模型：提出动作（"向左推一步"） 2. 世界模型：生成动作后的画面（想象推完之后的样子） 3. 奖励模型：评估想象中的画面（"这个状态看起来好不好？"）

三个角色，一个模型。就像一个人既能做计划、又能预演结果、还能自我评价。

三种"想象"方式

Agima 不只是简单地"想一步"，它有三种逐渐复杂的想象策略：

线性推演：一条路走到黑

最基础的方式。想象：推一步→生成画面→基于画面再推一步→再生成画面……一路推演到 K 步之后。就像你下棋时在脑子里连推五步看局面。

在没有中间真实反馈的情况下（K=5），Agima 在四箱 Sokoban 上达到 40% 成功率，而只输出动作的模型只有 2%。想象的价值：20 倍提升。

反事实分支：在岔路口多想几条路

在关键决策点，不只走一条路，而是同时想象几条不同的路。"如果向左推会怎样？如果向右推会怎样？"然后比较两条想象路径的结果。

在 Sokoban 的"结构岔路"测试中（专门设计需要做关键选择的关卡），分支想象把四箱成功率从 22% 提升到 32%。

前瞻思维：先比两条完整路线再动手

最复杂的策略。在执行前，完整想象两条不同的多步计划，比较哪个更好，再选择执行。

在 Pacman 的"路线顺序陷阱"中（先吃近的食物还是先吃远的？看起来近的更安全，但吃完近的之后可能被鬼抓到），前瞻思维把成功率从 22% 提升到 54%。

为什么这很惊人？ 因为这些想象不是来自外部世界模型，而是来自同一个模型自己生成的画面。它在用自己的"世界模型"预演未来，然后根据预演结果做决策。

RL 阶段：学会"什么时候该想象"

SFT（监督微调）教会了 Agima 怎么想象，但想象的方式是预设的——要么线性推演，要么固定比较两条路。

这不够。人类不会每次做决定都把所有可能性想一遍。我们在简单情况下直接行动，只在关键节点才停下来想象。

论文用 GRPO（一种强化学习算法）让 Agima 自己学会"什么时候该想象、想象几条路"。

结果出现了一个 SFT 阶段从未见过的新推理格式：

智能体先想象一个计划，评估预测结果。如果预测成功，直接执行；如果预测失败，才生成第二个备选计划。

这不是人教的。这是从任务成功的二元奖励中自发涌现的。

同时，反事实分支也变得更加聪明——智能体学会了在"关键决策点"（走错一步就死局的地方）探索更多替代方案，而在安全区域减少想象次数。

它在学习分配自己的想象力预算。

一个关键验证：它真的在看自己生成的图片吗？

你可能会问：Agima 真的在用自己生成的图片做决策吗？还是只是走了个过场？

论文做了一个精妙的消融实验：把 Agima 生成的想象画面替换成空白图或过时的旧画面。

结果：成功率急剧下降。

反过来，如果把想象画面替换成真实的未来画面（作弊模式），成功率提升 29-44 个百分点。

这证明 Agima 确实在"看"自己想象出来的画面，并从中提取信息做决策。 想象不是装饰，是核心信息来源。

为什么这件事比看起来更重要

1. 想象是策略和世界模型的桥梁

传统架构里，策略模型负责"做什么"，世界模型负责"预测会怎样"，两者是分开的。Agima 把它们塞进同一个模型，让想象成为连接两者的桥梁——策略模型提出动作，世界模型生成画面，策略模型再基于画面调整动作。

2. 想象和真实观察共享接口

Agima 最优雅的设计：想象出来的画面和真实环境返回的画面，在模型看来没有区别。它们共享同一套接口，可以互换使用。

这意味着智能体可以在没有真实反馈的时候用想象代替，在获得真实反馈时用真实替代想象。就像人类——你闭上眼能想象房间布局，睁开眼能看到真实房间，两种信息在你的大脑里是同一种格式。

3. RL 让想象策略自发涌现

SFT 教的是"怎么想象"，RL 教的是"什么时候想象什么"。最关键的发现是——只用任务成功/失败的二元奖励，不用任何关于"该怎么思考"的监督，智能体就自发学会了：

• 先试一条路，失败才想第二条（节省想象成本）
• 在关键岔路口多想几条路（集中想象力）
• 在安全区域少想（不浪费想象力）

工程启示

给 Agent 加"想象层"而不是更大的策略模型

当你遇到稀疏反馈、不可逆动作的问题时，与其把策略模型做得更大，不如给它加一个想象层——让它在行动前先预演几步。同样的骨干模型，加了想象后四箱 Sokoban 从 2% 到 40%。

想象的格式要和真实观察一致

Agima 之所以能让想象和真实互换，是因为它们共享同一套视觉接口。如果你在设计 Agent 时让想象输出和真实观察格式不同，就无法实现这种无缝替换。

让 RL 自由探索想象策略

不要预设"什么时候该想象什么"。给智能体任务奖励，让它自己学会分配想象力。Agima 论文最漂亮的发现——自适应想象策略——都是 RL 涌现的，不是人设计的。

我的思考

这篇论文让我想到一个更深的哲学问题：想象是什么？

在 Agima 之前，AI 的"预测"是抽象的——一个向量、一个概率分布、一个数值。Agima 的想象是具象的——一张可以"看"的图片。

人类的想象也是具象的。你想象"明天去爬山"，脑子里不是一行文字"明天去爬山"，而是一幅画面——山顶的风、脚下的路、背上的包。

想象不是一种抽象推理，而是在脑内渲染未来的感官体验。 Agima 用图像生成实现了这一点——它不是在"推理"未来，而是在"渲染"未来。

更让我着迷的是 RL 涌现的元认知。Agima 学会了"先试一条路，不行再想"——这不是某个工程师写的规则，而是从任务奖励中长出来的策略。

这暗示了一件事：想象和元认知可能是同一种能力的两面。 当一个系统有了想象的能力（能预演未来），它自然会发展出管理想象的能力（决定什么时候想象、想象多少）。前者是 SFT 教的，后者是 RL 自发学的。

人类婴儿的发展也是这个路径——先学会在脑子里模拟场景（假装游戏），再学会根据模拟结果做决策，最后学会控制模拟的频率和深度（元认知）。

Agima 走完了前两步。

论文： Train An Imaginative Agent (arXiv: 2610.26845)

核心贡献： 一个统一的 omni 模型同时担任策略、世界模型和奖励模型；SFT 教想象，RL 教元认知；想象和真实观察共享接口，可互换使用。

一句话总结： 给智能体一个"脑内渲染器"，它就会学会在行动前先做梦——然后在梦里找到正确的路。