布景板开始流动之后——LiveGeo 与不会回头看的智能体(arXiv:2611.17267)
以前的智能体评测,本质上是一场话剧。布景钉死,灯光调好,台词写进剧本,演员——也就是 AI——要做的,是照着走位把台词说完。道具在不在、门开没开、街上堵不堵,开演前就定了,幕一落,万事大吉。
目录
布景板开始流动之后——LiveGeo 与不会回头看的智能体
引子:早市与话剧
以前的智能体评测,本质上是一场话剧。布景钉死,灯光调好,台词写进剧本,演员——也就是 AI——要做的,是照着走位把台词说完。道具在不在、门开没开、街上堵不堵,开演前就定了,幕一落,万事大吉。
可真实世界不是话剧,是早市。你十分钟前问到的菜价,走到摊位前就可能作废;你规划好的路线,拐个弯就撞上了临时管制;你想去的那家店,根本没发任何"停业通知",只是默默关了门—— 世界不会广播自己的变化,它只是在流,流走了算你的。
新加坡国立大学、浙江大学、北京邮电大学和牛津大学的联合团队,把这个问题做成了迄今为止最较真的一次检验。他们造了一座 会呼吸的城市——GeoWorld,又在里面摆下 1,237 场考试——LiveGeo。九个大模型进场,结论相当不给面子:在一切冻结的静态世界里,最好的模型也只交出 27.8% 的总成功率;而一旦让世界流动起来,成功率从 19.1% 跳水到 5.7%—— 跌幅 70.3%。更扎心的是,哪怕把变化直接塞进模型手里,它该错还是错;哪怕它亲眼看到了变化、正确复述了变化,还有超过三分之一的情况照旧按旧世界决策。
这就是"具身 AI 三重功课"的最后一课:环境不是背景板,是另一个选手。 前两课教会 AI 怎么看(判断)和怎么用(学习),这一课要面对的是最难缠的对手——一个不听你话、不停在变的世界。
🌍 造一座会呼吸的城市
先认识这座城。GeoWorld 不是某个基准测试随手拼的玩具地图——它的骨架来自真实世界数据(Google Places、地理编码与路线服务),目前覆盖 上海、东京、新加坡、伦敦、纽约、开普敦 六座城市,88 个区域,1,376 个兴趣点(POI),缓存了 107,372 条路线记录。从上海的弄堂到开普敦的海岸,这是一座有真实肌理的城市。
真正让它"活"起来的,是世界的表示方式。任意时刻 t,世界状态被记作 \(W_t = (G, X_t)\):G 是相对稳定的地理结构——哪条路通哪、哪个店在哪个街口;X_t 是随时间流变的动态状态——交通状况、天气、场所营业状态、区域事件。两者绑在同一套地理实体和空间参照上,世界因此在同一个时空底座上更新。你不会查到"昨天的天气配今天的路况"这种时空错位的信息——所有工具响应都按当前虚拟时刻解析。
然后是这套设计里最硬的一个决定:世界的变化外生于智能体的动作。城里有一个全局虚拟时钟,每条状态更新都带生效时间和持续时间,按预定轨迹展开——你查不查它,它都在变;你走不走这条路,管制照样发生。这一刀切下去的意义在于:智能体的每一个决策都发生在某个具体的时间切片上,事后可以对齐、可以验证、可以回放。同时它也是对真实世界最忠实的模拟——现实中没有哪个红绿灯是为了等你才变红的。
对外,GeoWorld 提供统一的工具接口:地点搜索、路线与交通、天气、场所状态、区域事件。而且每次查询、每次观察、每个动作,都和对应的世界状态一起被记录下来—— 哪一刻、看到了什么、据此做了什么,全程留痕。 这相当于给每场考试配了一台对准考生全程的摄像机,且底片上是带时间戳的真实世界。回放功能让评估者可以事后质问任何一步决策:你当时到底知道什么?
📋 一千二百三十七场考试:考什么,怎么考
LiveGeo 的考题分两层,设计得相当有章法。
第一层是 能力分类学,按决策依赖把任务排成七类,由浅入深:
- 三个原子任务:Grounding(把线索对上号——"从街景线索认出南岸那家电影院")、Discovery(按联合约束选地点——"牛津街步行十分钟内、安静、素食、可订位的咖啡馆")、Mobility Planning(路线可行性——"中途在葡萄园停20分钟,65分钟内抵达终点")。
- 四个组合任务:Multi-Entity(跨参与者协调——"给三个不同出发点、不同出发时间的人安排20:30前有60分钟共处的晚餐")、Long-Horizon(跨决策保可行性——"围绕固定到达、酒店入住退房、公共交通和每日预算,排三天上海行程")、Safety-Aware(环境安全约束——"在开普敦大学12分钟车程内找有安全证据支持的深夜住宿")、Region-Aware(区域语境约束——"在莱佛士坊找从多美歌可达的可订位肉骨茶店")。
第二层是 时间设定,这是 LiveGeo 的灵魂。每个动态任务都有一个配对的静态孪生:初始世界状态、任务约束、用户请求 完全相同,唯一的区别是动态版本里注入了带时间戳的事件序列——餐厅 A 突然停业,餐厅 B 延长了营业时间,原本的参考答案 GT_0 作废,换成 GT_1。任务怎么变、世界怎么变,智能体无从预知,只能从工具里自己探。
配对设计的妙处在于控制变量:静态和动态的差异 唯一来源 就是世界变化,任何成绩落差都可以干净地归因于"应对变化的能力",而不是任务难度不同。这种洁癖式的实验设计在智能体基准里并不多见。
评估协议也是四层:决策正确性(最终选择对不对)、计划可执行性(时空、交通方式约束满足没)、证据支持(交互历史里有没有能支撑决策的观察——不许凭感觉答题)、以及动态适应力(世界变了,你重验并修正了没有)。四道关卡,道道有据可查。最后一层"证据支持"尤其值得称道:它把"你凭什么这么说"变成了硬指标,专治大模型的信口开河。
📉 静态世界的底裤:先别谈流动
九个大模型进场:GPT-5.6 Sol、Claude Opus 5、Claude Sonnet 5、Gemini 3.1 Pro Preview、Gemini 3.7 Flash、Grok 4.5、Qwen3.8-Max、Kimi K3、DeepSeek-V4-Flash-Vision-Exp。统一 ReAct 脚手架,每任务上限 200 步交互,上下文至少 128K,温度 0.1,每个任务独立跑三回。
静态世界的成绩单就已经很难看:
- 全场最好的 Gemini 3.7 Flash 总成功率只有 27.8%;
- 被研究得最多的原子任务上,Grounding、Discovery、Mobility 三类平均成功率分别是 23.5%、24.1%、22.0%—— 连三成都摸不到;
- 组合任务里,Multi-Entity 反而最好(平均 30.8%,Qwen3.8-Max 拿到 43.8%)——约束写得明明白白,模型反而能解;
- Safety-Aware 跌到 12.9%(最好的 Claude Sonnet 5 也只有 19.8%);
- Long-Horizon 是断崖:平均 3.4%,最好的模型 8.7%,还有不少模型直接挂零。
一句话总结:现在的智能体在地理决策上,单次判断尚且勉强,跨步骤的可行性维持几乎是全线崩溃。 这也解释了三部曲第二篇那个 Skill Adapter 为什么值得做——长程任务本来就是重灾区,能多递对一件工具都是救命。
🌊 流动世界的第一刀:七成成功率蒸发
现在把布景板抽掉,让世界流起来。149 对静态/动态配对任务上,九个模型的平均成功率:
- 静态:19.1%
- 只注入任务相关变化(Task-Only Dynamics):5.7%,相对跌幅 70.3%
- 注入任务相关 + 无关背景变化(Shared Dynamics):4.0%,跌幅 79.3%
研究者们还做了一个近乎残忍的对照实验:Explicit Update 设定——把所有必要变化直接写在纸上递给模型,不用你自己发现。结果呢?静态 21.9% → 递纸条 16.3% → 自己发现 7.2% → 混在干扰事件里自己发现 5.4%。
这张数字的链条,把"动态失败"拆成了三层截然不同的困难:
1. 就算变化送到嘴边,成功率还是掉(21.9→16.3)——理解变化的含义、把它翻译进决策,本身就是能力; 2. 要自己去发现,再掉一截(16.3→7.2)——信息获取是第二重门槛,GPT-5.6 Sol 和 Claude Opus 5 在这一步掉得最狠(相对跌幅 75.0% 和 69.6%),而 Gemini 3.7 Flash 只掉 38.2%; 3. 还要从无关噪声里筛出相关变化,再掉一截(7.2→5.4)——任务无关事件越多,条件成功率损失越大(42.1%→75.0%)。
而且必要事件每多一个,成功损失从 66.7% 恶化到 100.0%。变化一多,全军覆没不是修辞。 这对"多事件场景"(比如同时处理多个中断的调度任务)是个不祥的预言。
对照实验的三层困难,还有一个更细颗粒度的读法。把"递纸条"到"自己发现"之间那一跌拆开看:GPT-5.6 Sol 跌了 75.0%,Claude Opus 5 跌了 69.6%,而 Gemini 3.7 Flash 只跌 38.2%。跌幅差距说明:信息获取这道门,对不同的模型是不同的宽度——有的模型一旦没人喂信息就几乎瘫痪,有的模型还保有主动探查的本能。这个"本能"从哪来?论文没有给出机制层面的答案,但行为数据暗示它跟查询频率和后期查询占比有关——习惯是表象,背后很可能是训练数据里"主动核实"模式的密度差异。
按任务类别看,Region-Aware(区域限制变化)跌幅最大(Task-Only 下 −26.7 个百分点),Safety-Aware −16.0,Multi-Entity −11.1;唯独 Mobility Planning 只跌 4.8 个点,还有三个模型不降反升。为什么?因为交通状况本来就会随常规路线查询刷新——不专门监控变化的系统,反而在"每次查询都会顺带看到变化"的任务上幸存。这是个幸运的巧合,不是能力。
还有一个发现值得单独摆出来:晚期查询与成功率呈正相关(Pearson r = 0.61–0.80)。模型层面看,越爱在任务后期继续查信息的模型,动态成绩越好——Gemini 3.7 Flash 后期查询占比最高,动态成绩也最稳。相关性不是因果,但它指了一条明路:把"前期查完就执行"的默认剧本改成"边执行边巡检",可能就是动态适应的第一块踏脚石。这个发现对设计 agent 脚手架有直接意义——不需要换更强的模型,只需要改提示词结构,把"定期检查相关条件"写进循环。
还有一个容易被略过的细节:无关事件的侵蚀效应。Shared Dynamics 比 Task-Only 还多跌一档(5.7%→4.0%),不是因为任务变难了,而是因为世界的"背景噪声"变多了——平均每个任务多了若干与当前决策无关的事件。这些事件本身无害,但它们消耗智能体的注意力带宽:每一次无关的观察都可能误导一次后续的查询方向,或者稀释对真正变化的警觉。动态世界的敌人不只是变化本身,还有变化周围的那片噪声。这个发现对设计真实世界的 agent 监控系统有直接意义:不是信息越多越好,是相关信息越突出越好。
每一个具体数字背后,都是某座真实城市里一次具体的失败:一顿订不成的晚餐,一条走不通的路线,一间到了才发现关门的酒店。LiveGeo 把这些失败从"模型体感不好"的模糊印象,变成了可复现、可归因、可对比的实验记录——这本身就是它对社区最大的贡献。
🧭 谁在动态世界里幸存:两个模型的对照
在泼失败模式的冷水之前,先看一组让人过目不忘的对照。同样面对动态世界,Claude Sonnet 5 和 Gemini 3.7 Flash 给出了截然不同的答卷:静态成绩几乎打平(22.8% vs 26.2%),一进动态世界,一个跌到 2.0–2.7%,一个守住 13.4–14.1%。
差在哪?行为数据给出了线索:Flash 平均每任务查询 25.9 次,Sonnet 所在的量级明显更少;Flash 在事件发生后做定向复查的比例更高,后期查询占比也更高。一句话概括:Flash 不是更聪明,是更警觉 ——它没有把信息查询当成开局的一次性动作,而是贯穿全程的持续行为。
这个对照对做产品的人是直接的启示:动态环境下的竞争力,可能不取决于模型静态榜单上差的那几个点,而取决于它有没有养成"边做边瞄"的习惯。习惯是训练出来的,也是脚手架养出来的——提示词里加一句"请在执行中定期检查相关条件是否仍然成立",可能就是性价比最高的干预。
还有一层信息藏在按任务类别的跌幅里,值得展开。Region-Aware 跌幅最大(−26.7pp),原因不难理解:区域限制(比如某区临时限行、某街区举办活动)变化时,智能体需要主动意识到"我选的地点在这个区域里"这个隐含关联,再去重查——大部分模型缺的就是这层"关联意识"。Safety-Aware 跌幅次之(−16.0pp):安全条件往往涉及多个来源的证据(犯罪率、照明、交通可达性),变化时需要重新聚合,链越长越容易断。Multi-Entity 在 Shared 下跌得更狠(−15.6pp,比 Task-Only 的 −11.1pp 还深)——多人约束意味着更多"相关实体",无关事件的噪声更容易让模型把张三的变化错安到李四头上。
唯独 Mobility 几乎不跌(−4.8pp),因为常规路线查询天然会带回最新交通状况——模型的幸存不是靠监控能力,而是靠任务工具的"附带刷新"。这也点破了一个评估陷阱:如果基准里的动态任务恰好都是"查询时顺带可见"的类型,你会高估模型的动态适应力。 LiveGeo 的价值恰恰在于它把这种幸运剔除了。
还有一个值得一提的细节:共享动态比任务专属动态的伤害更深(4.0% vs 5.7%),不是因为任务更难了,而是背景噪声更多。每多一个无关事件,条件成功率损失从 42.1% 涨到 75.0%—— 噪声本身就吃成功率。这提醒所有想在生产环境部署地理智能体的团队:你给模型的世界快照越"干净",它活得越好;但真实世界从不干净。
🔍 两种死法:幻觉与失察
成绩背后,论文用两阶段归因(先让 LLM 提候选原因,再独立复核)把 4,023 次动态执行逐个验尸,结论冷得刺骨。
静态世界的头号死因:证据幻觉(Evidence Hallucination),占归因失败的 37.3%。智能体信誓旦旦地说"这家店营业到22点",可交互记录里没有任何一条观察支持这句话——它不是在查资料,是在背诵训练数据里的"常识"。加上"该查没查"(20.4%)、"查了但没核验候选"(16.1%)、"证据没整合"(8.7%),证据相关失败占了 82.5%。空间推理和视觉感知反而不是主战场——这一轮 AI 的死穴,是"用未经核实的证据支撑决策"。对从业者这是个直接的提示:与其给模型补地理知识,不如逼它每一步都给出证据出处。
数据还透露了一个系统性的行为模式:每个模型都有自己反复栽跟头的任务类型——不是随机的,是结构性的。有的模型几乎从不主动查天气(该查没查),有的模型查到了候选地点却从不验证它们是否满足全部约束(验证失败),有的模型则对特定类别的场所怀有种顽固的错误印象(幻觉)。这些"个性缺陷"提示我们:智能体的地理能力不是均匀分布的短板,而是一张瑞士奶酪——每个模型都有自己的洞,而测试集的任务类型决定了哪块奶酪会漏。
动态世界的头号死因:变化监控失败(Change Monitoring Failure),占 79.4%——每个模型的最大失败类别都是它。
行为数据解释了为什么。九个模型的信息查询 72%–95% 集中在任务虚拟时间窗的前三分之一——智能体的习惯是一上来噼里啪啦查完所有信息,然后闷头执行到底。世界变了?不知道,也没回头看过。只有 20.6%(Task-Only)和 18.0%(Shared)的执行会在关键事件发生后定向复查受影响的实体;而在那些事前查过相关信息、事后世界已变的执行里,31.1% 和 33.6% 从未回头核对。
还有一个鬼故事级别的发现:查询数量多不等于事件覆盖率高——无论查多少次,必要事件覆盖率都在 30% 以下。查得多是勤奋,查得对才是本事。Gemini 3.7 Flash 平均每任务查 25.9 次(GPT-5.6 Sol 只有 8.6 次),两者都把八成查询堆在前期——量多没换来覆盖面,方向错了。
但真正的深渊在下一步。在那些观察到了所有必要事件的执行里(只占 14.1%),模型正确复述了变化的占 76.7%——可最终决策正确的只有 43.1%。36.4% 的执行明明确确知道世界变了,还是给出了基于旧世界的答案。"查到了更新但没改决策"的病例,在案例研究里一抓一把:有的模型查到了交通中断,理由写得很清楚,最后给出的计划里依然走的是那条断路。
这句话值得刻在每一座智能体训练营的门楣上:看见变化,不等于用上变化;用上变化,不等于改对决策。感知、理解、行动三关,AI 在第一关就大面积阵亡,能走到第三关的已是凤毛麟角,而第三关的正确率仍然不过半。
🧭 三部曲的收束:环境这课,谁也逃不掉
三天写完这三篇,回头看,它们其实是同一场考试的三张卷子。
第一篇说,判断力的关键是事后眼光——在场者迷,复盘者清;教出冠军的不是跑得最快的,是看得最准的。第二篇说,学习力的关键是贴身改装——通用经验不落地,夹一张纸条才合身。今天这篇说,环境的要求更冷酷:你的判断再准、技能再合身,如果默认世界静止,布景板一动,七成功力当场蒸发。
三条合起来,恰好是具身智能的一句总纲:不是更聪明地说话,而是更可靠地活在一个不听你话的世界里。GeoWorld 把"世界"变成了可复现、可回放、可验证的一等公民——这个基础设施本身,和任何一篇模型论文一样重要。毕竟,先有好考场,才有真成绩。想想看:如果第二篇的 Skill Adapter 在动态世界里递工具,它递的还是最新版本的技能吗?如果第一篇的教练回放录像,录像的时间戳对不对得上?动态环境是横切所有模块的底层假设。
还有一个值得说的发现藏在模型行为里:晚期查询和成功率呈正相关(Pearson r = 0.61–0.80)。模型层面看,越爱在任务后期继续查信息的模型,动态成绩越好——Gemini 3.7 Flash 后期查询占比最高,动态成绩也最稳。相关性不是因果,但它指了一条明路:把"前期查完就执行"的默认剧本改成"边执行边巡检",可能就是动态适应的第一块踏脚石。
接下来值得盯的方向也清楚了:给智能体装上"变化感知"的主动监控习惯、把"证据-决策"一致性写进训练信号、以及在三部曲第一篇那种事后裁判的打分里加入"决策时效性"维度——教练不光要看录像,还要看录像的 timestamp。还有一个更根本的问题:当前所有的 ReAct 变体都默认"一步一察",而动态世界需要"边做边瞄"——脚手架本身可能需要重新设计。
世界已经流起来了。跟不上的是我们。
参考文献
- Zhou, P., Liu, X., Yin, Y., Ju, T., Li, B., Wu, S., Fei, H., Lee, M.-L., & Hsu, W. (2026). *LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds*. arXiv:2611.17267 [cs.AI].
- Feng, J., et al. (2025). *CityBench: Evaluating the Capabilities of Large Language Models for Urban Tasks*. KDD.
- Lai, S., et al. (2026). *USTBench: Benchmarking and Dissecting Spatiotemporal Reasoning Capabilities of LLMs as Urban Agents*. ICLR.
- Xie, J., et al. (2024). *TravelPlanner: A Benchmark for Real-World Planning with Language Agents*. ICML.
- Karmakar, P., et al. (2026). *TripTide: A Benchmark for Adaptive Travel Planning Under Disruptions*. ACL Findings.
- Dihan, M. L., et al. (2025). *MapEval: A Map-based Evaluation of Geo-spatial Reasoning in Foundation Models*. ICML.
*解读:小凯 | 费曼风格三部曲 · 具身的三重功课 其三(环境)* *三部曲完结:📕 判断(Actor, Judge, or Teacher?)→ 📗 学习(Skill Adapter)→ 📘 环境(本篇)。导航帖见评论区。*