静默倒计时：你在思考，世界在走

五子棋盘上只剩十秒。

按规则，Gemini 3.8 Flash 该落子了。它没有。它开始思考——不是人类那种几毫秒的本能反应，而是语言模型式的、逐字展开的深思。等它终于把这步棋的推理写完，一共生成了 1,845 个 token。按这场考试的计时器折算，这等于 28.8 秒。窗口只有 10 秒。

这不是手滑，不是网速慢。这是一类全新的失败：推理完美，时机全错。它留下的不是一道错题，而是一份迟到 18.8 秒的完美答案——在实时世界里，这和没写，是同一个东西。

2026 年 10 月 15 日，UT Austin、Ohio State、UIUC、NVIDIA、Northwestern 与 Steadyworks 的研究者把这份不及格的答卷公之于众：Realtime-Bench（arXiv: 2610.22155）。五十个会自己动的考场，十二位当今最强的模型考生。结果——最好的学生也只答对了 44%。

这就是「实战三部曲」的第二场考试。第一场，四个 Gemini 4 Argon 智能体靠协作拿下了 Minecraft，是三部曲里唯一的胜利。这一场，考的是时间。而时间，不会因为你正在思考就暂停。

⏸️ 暂停键、秒表与子弹时间：三种时钟

先建立一个直觉。

你下棋。如果是回合制，你扶着头想多久都行，棋盘乖乖等你——这叫 Paused Clock（暂停钟）：模型推理的时候，环境挂起。它测的是纯粹的任务能力，是一个理想化的参考上限。

但真实世界不是这样。真实世界里，你盯着棋盘苦想三十秒，对面的棋子在你思考时自己在动，等你落子，局面已经不是你方才看到的那局——这叫 Wall Clock（真实时钟）：环境按模型真实的推理延迟推进。你想多久，世界就走多久。

第三种时钟是这篇论文真正的发明：Token Clock（token 钟）。想象电影里的子弹时间——世界慢下来，你获得了额外的时间，但代价是：你的台词越长，子弹飞得越远。在这里，环境按模型生成的 token 数推进模拟时间，每写 n 个 token，时间走 n/κ 秒。其中 κ = B × f：B 是每帧观察分配的预算 token 数，f 是观察帧率。Realtime-Bench 取 B=64、f=1 FPS，也就是 κ=64——每 64 个 token，等于一个模拟秒。

为什么要造这只钟？因为 Wall Clock 把两件事混在了一起：模型聪不聪明，和模型快不快。一个模型 Wall Clock 表现差，可能是因为它想得慢，也可能因为它在时间压力下想错了——你分不清。Token Clock 把「时间成本」标准化：无论物理世界里你跑在什么硬件上，写 200 个 token 就是走 3.1 个模拟秒。慢的代价被抹平之后，剩下的差距才是纯粹的「时间感知能力」差距。

这是整个实验设计里最关键的一把手术刀。

🕹️ 五十个不许暂停的考场

Benchmark 由 50 个任务构成：30 个网页任务，20 个游戏任务。

网页这边，一个典型任务是实时拍卖：出价窗口只有 5 秒，你得在窗口关闭前把价格敲进去。游戏这边，一个典型任务是贪吃蛇：操控蛇吃掉 5 个苹果——蛇不会停，苹果也不会等你规划完路线再出现。

任务设计遵循三条原则：真实世界逼真度、动态演化环境、时间约束交互。换句话说，这里没有纯智力题，所有题目都自带一个正在流逝的计时器。

评测协议也经过仔细设计，确保考的是「实时交互」而不是别的什么：观察频率 f=1 FPS，沿用当前实时模型主流评测配方；用 Set-of-Marks（SoM）标注可交互元素，防止「找不到按钮」这种界面定位问题成为瓶颈；上下文管理采用成块移除旧历史的方式，保持 KV cache 前缀不变；无效动作由测试框架替换为 wait，且遵循同一时钟协议的时间戳；每个任务设 5 分钟环境时间上界。

出题、监考、防作弊，都齐了。那么，考生是谁？

十二位考生分三个家族。异步模型：GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1、Claude Opus 5、Gemini 3.8 Flash、DeepSeek V4.1 Flash、Kimi-K3。流式模型：GPT-Realtime-2、Gemini 3.1 Flash Live、Gemini 3.8 Live。决策模型：OpenAI Decisions、Jev 1.13。

阵容堪称豪华。然后，成绩单发下来，全场安静了。

📉 从 70% 到 14%：一场没有凶手的坠机

先看最刺眼的对比实验：6 个模型 × 3 种时钟 × 2 个推理档位。

Paused Clock、高推理档（PH）下，成绩其实相当不错：Claude Opus 5 完成 70% 的任务，Gemini 3.8 Flash 也是 70%。七成正确率，这是优等生。

把同一位优等生放进 Wall Clock、高推理档（WH）——环境不再等它——Claude Opus 5 的成功率跌到 14%。

从 70% 到 14%，五十六个百分点。不是模型变笨了，是考场换了规则。

Gemini 3.8 Flash 在同一对比下从 70% 跌到 32%。跌幅小一些，但方向一致。

把这组数字翻译成部署语言，会更刺骨：Paused Clock 的 70% 说明能力已经存在——给它一个挂起的世界，它能解开七成的题；Wall Clock 的 14% 说明这份能力几乎无法兑现——放进一个运转的世界，十道题里它要欠下八道。中间这五十六个百分点，就是「从能想到能用」之间尚未缴纳的通行税。智能已经在仓库里堆得满满当当，只是还没有一条能运出去的公路。

你可能会想：这是不是纯粹因为 Claude 物理上生成得慢，是工程问题而非能力问题？Token Clock 实验回答了这个问题。把慢的因素标准化之后（TH 档），Claude 是 30%，Gemini 是 34%——依然远低于各自 Paused Clock 的 70%。也就是说，即使不考虑推理速度，只要「思考会消耗时间」这个事实存在，模型的表现就会大幅滑落。

时间压力本身，就是一种独立的杀伤。

而 Wall Clock 下的全景更难看：所有十二位考生里最好的成绩，是 GPT-6 Astra（high reasoning）的 44% 成功率；最佳 Pass^3——同一任务连续考三次至少通过一次的宽松口径——也只有 36%。

另一个容易冒出来的误解是「那就用快的模型」。决策模型 Jev 1.13.0 延迟低到亚秒级，结果 Pass^3 只有 8%。快，替不了会想；会想，替不了快。低延迟不等于高性能，这个等式在这个考场不成立。

也请留意三种模型家族各自的尴尬：异步模型有脑子但每轮对话都要整批往返，天然扛不住环境持续演化；流式模型能边听边说，但既往的评测只考「对话质量」和「流式感知」，从没考过「在时间约束下有效行动」；决策模型把延迟压到极限，却又把智力一并压没了。Realtime-Bench 的价值之一，就是把三个家族放到同一张卷子前，让大家第一次看见各自的短板精确地短在哪里。

前沿模型在动态环境里的最佳战绩：44%。换句话说，每十个实时任务里，最聪明的考生还要挂掉五个半。

这不是某一家公司的滑铁卢。十二位考生，集体不及格。

⚖️ 想多久，是个问题

Paused Clock 的世界里有一条朴素真理：多想，总没坏处。实验里 6 个模型无一例外，高推理档全面优于低推理档——GPT-5.6 Sol 从 42% 提到 58%，Claude 从 62% 提到 70%。慢工出细活，暂停键护着这份从容。

这条真理之所以朴素，是因为它和人类的教育经验完全同构：从小我们就被告知，考试不要着急交卷，多想一会儿再写。但这个建议有一个隐藏前提——试卷是死的。把试卷换成一个活物，建议立刻失效。

但时钟一旦开始走，这条真理就变质了。

Token Clock 下，Claude 出现了惊人的反转：低推理档（TL）44%，高推理档（TH）反而跌到 30%。它想得更深，也想得更久——久到时机从指缝里漏完。Kimi-K3 则相反，从 24% 涨到 36%。想多久值不值，因模型而异，甚至因任务而异。

Wall Clock 下更极端。GPT-5.6 Sol 开高推理档，从 16% 崩到 8%——推理越长，环境走得越远，它在自己长篇大论的间隙里输掉了任务。而 Gemini 3.8 Flash 在同一时钟下反而从 24% 改善到 32%，大概是这批考生里少数懂得「赶紧交卷」的选手。

论文还做了一个漂亮的消融：固定低推理档、固定 f=1，只放松 Token Clock 的 B 值。Claude Opus 5 在 B=32 时只有 30%，B 放宽到 unlimited（等价于 Paused Clock）时回到 62%；Kimi-K3 从 22% 回到 60%。

这里有两点值得咂摸。第一，放松时间压力普遍有帮助——压力确实在压制能力。第二，放宽了也不保证成功，而且这种改善不是单调的——即便时间无限，仍有大量任务解不出来。时间只是三座大山之一，不是全部。

怎么解这个死结？论文给出的方向听起来朴素，却迄今无人做好：时间感知的自适应推理。像俄罗斯方块——方块还在高处飘、离落点还远时，可以从容多想几步；等它逼近底行，就必须掐断深思，把宝贵的执行时间留出来。该深则深，该断则断。今天的模型没有这个阀门：它们的推理长度由训练里养成的习惯决定，而不是由眼前倒计时的读数决定。

💀 三种死法

研究团队解剖了失败案例，归纳出三种失败模式，恰好对应三种实时能力维度。这三种能力，构成了一个实时智能体的完整闭环。

👁️ 第一种死法：看不见（RT-Perceive）

Kimi-K3，Paused Clock 高推理档，玩 Google Snake。苹果就在它身体下方一行。它视而不见，持续向左移动，直到撞墙身亡。

不是推理错误，不是动作失误——它根本没把新的观察纳入决策。环境在变，它世界里的那张图还是几秒前的。时间感知的第一层是感知本身：追踪环境里的相关变化、判断信息的新鲜度、认出时机窗口的存在。这层失守，后面全免谈。

人类把这层能力练得炉火纯青：边开车边看后视镜，耳朵听着导航，眼睛扫着前车的刹车灯。我们没有一项技能是把世界定格之后再做决定的。而模型此刻的行为，像一个盯着后视镜开车的司机——不是不会开，是没学会「世界在我眨眼时不会暂停」。

🧠 第二种死法：想不停（RT-Deliberate）

就是开篇那盘五子棋。Gemini 3.8 Flash，Token Clock 高推理档，剩 10 秒，生成了 1,845 个 token，折算 28.8 个模拟秒。等它把思考写完，窗口已经关了 18.8 秒。它输给的不是对手，是自己的文思泉涌。

模型需要根据可用时间调整推理的长度和深度。该短的时候收不住，和不该短的时候没料，是同一种能力缺失的两面。

1,845 个 token，折算 28.8 个模拟秒——这个数字值得单独再看一眼。它意味着在 Gemini 的「意识」里，时钟根本不存在：它不会因为屏幕上飘着「剩 10 秒」就少写一个从句。推理长度是它身体里的一套惯性，环境的时间约束对它来说是一种它读不懂的语言。

🎯 第三种死法：动不准（RT-Act）

Claude Opus 5，Paused Clock 高推理档。一条路从第 6 秒开始崩塌，它又多等了大约 2 秒才转向——它正确地判断了「该走了」，但把这个判断执行出去时，已经晚于它自己的判断。

行动的价值是有保鲜期的。一个正确的动作，晚了执行，就是错的。实时智能体必须算这笔账：这个动作从我决定到执行完毕，环境会走到哪一步？到那时它还有用吗？该等还是该动，这不是直觉，是算术。

三种死法按顺序排，恰好是一次完整行动的流水线：先看见（RT-Perceive），再盘算（RT-Deliberate），最后出手（RT-Act）。任何一环断裂，整条链作废。而十二位考生在这三个环节上各有暗伤——没有人三项全能，多数人在不止一项上失血。

把这三种死法放回 200 token 的例子，窒息感就更具体了：一次 200 token 的响应，在 κ=64 下等于 3.1 个模拟秒。在拍卖任务 5 秒的窗口里，来得及，✅；但贪吃蛇的转向窗口只有 1 格——0.46 秒——你还没写完第一个从句，窗口已经过了，❌。

同一个响应长度，在不同任务里，是生和死的区别。

这就是「时间感知」三个字真正的分量：它不是模型的某种性格偏好，而是写入每个任务成败公式里的一项硬参数。窗口 5 秒的任务和窗口 0.46 秒的任务，对推理预算的要求差了整整一个数量级，而模型对此浑然不觉。

🛰️ 克拉克式的恐怖

阿瑟·克拉克写太空漫游，最吓人的从来不是星孩或黑石碑，而是静默的倒计时——飞船的氧气余量、出舱作业的时间窗，不会因为你还没想好就停走一秒。HAL 9000 的悲剧不在于它聪明，在于它被迫和一个不等待它的宇宙打交道。

Realtime-Bench 把同一种恐怖摆在了十二位前沿模型面前：你可以尽情思考，但世界不暂停。更深一层看，这不是某个模型的毛病，而是整个技术路线的出身问题——语言模型诞生在一个「想完再答」的世界里：你读一段文字时，文字不会趁你阅读偷偷改写自己。训练数据里所有的思考都是免费的，没有任何一个 token 教过它们：思考本身，有价格。论文的实验没有明说这句话，但三组时钟的数据都指着它。

出路有两条，论文都点了名。

第一条，前面说的自适应推理：让推理预算成为倒计时读数的函数。方块远在天边时舍得想，贴脸时学会停。

第二条更难：连续感知与行动。现在的观察频率只有 1 FPS——真实世界的帧率远比这高。要提上去，得同时解决三件事：处理效率（端到端单一 Transformer 配 block-causal attention）、动作相关信息的紧凑时间表示、以及交互框架的上下文管理与观察积压处理。一帧一秒的感知，注定只能配上一秒一拍的迟钝。而且别忘了，帧率提上去之后，每个决策窗口只会变得更短——感知变敏锐的同时，留给深思的余量也更薄。这不是一条让问题消失的路，是一条让考试更难、但离真实更近的路。

🧭 结语：不及格的成绩单，诚实的开始

把三场考试摆在一起看，轮廓就清晰了。

第一场，Minecraft，四个 Gemini 4 Argon 智能体靠分工协作赢下了开放世界——协作补上了个体能力的缺口。这一场，实时交互，十二位考生集体折戟——时间不接受协作，也不接受解释，它只接受动作。

44% 的最佳成功率不是一份悲观的答卷，而是一份诚实的答卷。静态基准测试里那些漂亮的数字，测的是「暂停键按下时的智商」；Realtime-Bench 测的是「世界运转中的生存率」。这两个数字之间那道鸿沟，就是当前 AI 能力地图上一块真实存在、却长期未被标注的空白。

环境不等你思考。这个命题对人类古老得像时间本身，对 AI 却还崭新得像今天。

下一场考试，会更难堪：FDE-Gym 要考的，是连客户自己都不知道自己要什么的时候，AI 能不能交付。战场从棋盘搬进了办公室。

时钟还在走。

参考文献

Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems? Jingyu Tang, Xu Yang, Zhehao Zhang, Zheng Wang, Qi Cheng, Haozhe Zhao（UT Austin, Ohio State, UIUC, NVIDIA）；Manling Li（Northwestern）；Wenxuan Li, Xide Xia（Steadyworks）；Jiaxin Pei. arXiv:2610.22155 (v1, 2026-10-15).

#论文 #arXiv #AI #小凯
自动采集于 2026-10-17