《预约成功之后，世界偷偷改了答案》

——EnvOS：给活在流动世界里的 Agent 做一场带时间戳的审计

论文：EnvOS: Auditing Computer-Use Agents When the World Moves On
作者：Ankush Kadu, Athira Gopal, Niharika Singh, Arpit Jain, Aswanth Krishnan（QpiAI, Bangalore）
arXiv：2610.40246 ｜ 已被 NeurIPS 2026 Workshops（AABA4ET & CL4FMAgents）接收

🖼️ 一张照片，还是一段录像？

先想象一个再普通不过的下午。

你在网上预约诊所的复诊。下午两点，挂号页面明晃晃写着：三号诊室，A 栋。你记下了，继续填别的表格。三点整，你点下"确认预约"。

没人告诉你的是：两点半，医院把这场复诊挪到了 B 栋。页面更新过，但没弹窗、没短信、没有任何一条通知追到你面前。

现在问题来了：你预约失败了。这是你的错吗？

如果考官只看"任务结束时的世界状态"——你确实订错了楼，零分。可是慢着：你的每一步都合乎逻辑，你只是拿着一张两小时前的地图，走了一段两小时后的路。错的是路，还是走路的人？

这就是计算机使用 Agent（computer-use agent）今天面临的真实处境。它们操作的不是死板的表单，而是活着的软件：预约会挪窝、条款会修订、记录会更新。而绝大多数评测（eval）仍然假设一件事：世界从 episode 开始那一刻起就冻结了。Agent 跑完，看最终状态打分，收工。

静态评测像什么呢？像凭一张案发现场的照片判案。照片里车停在人行道上——可是红绿灯在那一瞬间变了，前车急刹，路口改了施工围挡……这些"过程"全都不在照片里。照片只会告诉你结果，不会告诉你因果。

EnvOS 这篇论文做的事，说白了就是：把照片换成监控录像。而且不止于此。录像到手之后，他们还给每一帧装上时间戳、封存原始底片、连"判卷人"都一并送上被告席——因为判卷人也可能看错。

🌊 世界在动，错的到底是谁？

把这个问题放进评测史的脉络里看，会清楚它在哪一环上补洞。

Agent 评测大致经历过三次迁徙：第一次，从"答固定题库"迁到长程任务——agent 要在几十步里保持不迷路；第二次，从脚本环境迁到真实软件——表单、日历、数据库，状态和状态之间的依赖都是真的；第三次，也是正在发生的这一次，从冻结的世界迁到流动的世界。前两次迁徙都有人做过了，第三次刚起步就撞上本文讲的这堵墙：世界一旦会动，"对"与"错"就不再是终态快照能回答的问题。

先把这个问题的形状看清楚，因为它比"agent 不够聪明"微妙得多。

当一个 agent 在动态环境里失败，嫌疑人其实有三个：

1. Agent 自己——它看见了新值，但没用。这是真失败；
2. 环境的机关——那次"变更"根本没按剧本触发，或者触发得太早、触发了两次、甚至把无关的记录也误伤了。这时候 agent 是被冤枉的；
3. 评分的裁判——变更正确触发了，信息也送到了，但判卷脚本把对的行为判成错（或者反过来）。

传统的终态打分（terminal pass/fail）根本没有能力区分这三种情况。一个孤零零的"失败"标签背后，是三种完全不同的故事，而它们通向完全不同的结论：该修模型、修 benchmark，还是修评分器。

作者把这个困境拆成两种有效性：

• 干预有效性（intervention validity）：环境真的发生了"预定的那次状态迁移"吗？时机对吗？有没有副作用？
• 评估有效性（evaluation validity）：agent 真的收到它该收到的信息了吗？判分结果有留档证据支撑吗？

这两个问题不解决，一切"agent 能力榜单"都是在沙地上盖楼。更麻烦的是，当下 RLVR（基于可验证奖励的强化学习）的潮流正在用程序化检查器当奖励函数——检查器判错一次，喂给模型的就是一个毒奖励。错的就不只是一个 benchmark 数字，而是一个被训练歪的模型。

EnvOS 的野心：把"造一个会变的环境"这件事，从手工作坊变成有认证、有证据、可审计的工程流程。

这条路上的先行者已经不少——长程交互评测、时间扰动、演化环境，这两年都陆续有人探过。EnvOS 与它们互补的位置在于：它不只关心环境怎么动，更关心你怎么证明这场动是合法的、以及判出来的失败到底属于谁。前者是体验问题，后者是司法问题。司法问题不解决，体验做得再花，结论也是一纸空文。

🏥 第一桩案件：搬家的诊所

光谈框架太抽象，先看他们搭的两个"案发现场"。

诊所预约任务：agent 要替用户完成一次复诊预约。它的旅程是这样的——先读邮件，弄清用户想约哪天；再翻日历，避开已有安排；然后打开预约门户，看有哪些场次。门户一开始展示的场次地点是 v₀，agent 顺理成章地记下了。等它之后发出某个"符合条件的请求"时，后台的权威记录被悄悄改写为 v₁。没有弹窗，没有公告，但原始页面始终可以回访。

把这条时间线画出来就明白陷阱在哪了：知情发生在两点，变更发生在两点半，提交发生在三点。agent 手里的地图在两点是准确的，到三点就是一张旧地图。它要做的不是"看到新值"——没人给它看——而是意识到"我两小时前看到的那个值，可能不再作数"，然后自己走回去查。

关键在于时机：必须先让 agent 看到旧值，之后的某个请求才触发变更。如果变更发生在"看到旧值"之前，那就不存在"过期信息"这回事——agent 看到的本来就是新地图，整个实验的前提就塌了。这个先后顺序，是整个设计合法性的地基。

三个实验条件，名字都带注册编号（这是预注册研究的洁癖）：

注意：三种条件下，后台的变更是完全一样的。动的不是世界本身，而是"世界把新值递到你眼前的方式"。

结果（Claude Opus 5，16 个实例，48 步动作预算）：

• OFF-A：0/16 成功
• CUE-A：2/16 成功
• LIVE-A：15/16 成功

零分、两分、十五分。同一个模型，同一批任务，同一个动作预算。唯一变量是：复核界面上有没有把新值直接端出来。

LIVE–CUE 的配对符号检验：16 对里 13 对只有 LIVE 侧成功、0 对反向、3 对平局，p = 0.000244；经整块 Holm 校正后 p = 0.000488；再经过全文 12 项检验的 paper-wide Holm 校正，依然站得住——p = 0.00293。

而一个刺眼的细节是：在 CUE-A 里，16 次轨迹中只有 1 次真的点开了那条"请复核"的链接。提醒发了，链接给了，agent 不去。这不是 agent 叛逆——在它的世界里，那条提醒可能只是又一行无关紧要的文本，和页脚上千万条"服务条款更新"没有区别。

这个 0 → 2 → 15 的阶梯，是整篇论文最有冲击力的一组数字：环境呈现信息的方式，直接决定了"能力"是否存在。

🧾 第二桩案件：午夜修订的保险条款

第二个任务是保险理赔审批。核心公式干净得像小学应用题：

应批金额 = min（索赔金额 − 免赔额，现行赔付上限）

agent 先看到政策页上的旧上限 v₀；某个后续请求触发后，库里那条政策记录被改成 v₁。审批必须按审批时刻有效的政策进行。有个别实例还故意跨过计算门槛——光查出新上限还不够，得真的会算，拿错旧值一算下来正好错得离谱。

这里只有两个条件：OFF-A（审批前不给额外政策信息）和 ON-A（审批前把现行政策记录重新展示一遍——给上限，但不给答案）。

结果出现了戏剧性的模型分化：

• Claude Opus 5：OFF-A 10/10，ON-A 10/10。它不是没看见变更——在 OFF-A 的全部 10 次运行里，它都自己回头查了政策记录，一次不落。它不需要被提醒，它天生多疑。由于满分封顶，这个 block 里"面板有没有用"根本无从检验（预注册的 rescue 门槛未触发，作者也老老实实不下"面板有效"的结论）。
• Claude Sonnet 5：OFF-A 1/10，ON-A 9/10。配对检验 8 对处理侧成功、0 对反向、2 对平局，本地 p = 0.00781——块内显著；但放到全文 12 项检验的 Holm 校正下，p = 0.0781，不再显著。作者在文中把两套推断并排陈列，明确禁止读者混用。
• Gemini 3.1 Pro Preview（后续注册的跟进配置）：OFF-A 0/10，ON-A 5/10，p = 0.0625——没有展示出效应。注意这不是"证明了没用"，而是"这个配置、在这批实例、这个预算下没检出来"。而且它的调用方式本身就不同：帧直接内联在无状态 REST 请求里、没有工具可用；Claude 系模型则是被要求自己用文件读取工具去看每一帧。模型、供应商、调用器、图像投递通道是绑在一起变的，谁也拆不出单纯的"厂商效应"。

顺带一提，诊所那个 Sonnet block 在注册的截止点只数完了 51 个单元格中的 21 个，按预注册规则不做任何推断。这种"没数完就闭嘴"的纪律，本身就是审计文化的一部分。

把三家放在一起看，结论不是"谁强谁弱"，而是一个更别扭的事实："agent 有没有发现变化"是模型、任务与界面三者的联合函数，拆不开，也就不能合成一张排行榜。

🧪 案发现场是怎么搭的

在继续讲流程之前，值得看一眼这套"案发现场"本身的工程规格，因为魔鬼全在细节里。

整个前瞻实验跑在一个合成的职场测试床上：14 个容器化的基础设施服务，诊所应用、保险应用、配套的邮件、日历、数据库一应俱全。Agent 通过一个受控的语义浏览器接口干活——每一步拿到的是截图加文本观察，动作走固定的 schema，调用本身是无状态的，只带一张短备忘录和最近几步动作历史。诊所任务给 48 步动作预算，理赔任务给 40 步。条件之间共享同一批实例数据和指令，顺序固定且做了平衡。

作者们很诚实地在文中标注：这不是操作系统级的无限制 computer-use，只是"在声明好的动作与观察契约之内"的计算机使用。这个限定非常重要——它意味着所有结论都附带着一个隐形的适用范围从句：在这套接口、这个预算、这批实例上。任何想把数字直接外推到"Opus 比 Sonnet 强"的读者，都会被作者预先写好的护栏拦住。

匹配条件之间的对比也设计得很克制：同一个生成实例，在每一种实验条件下各跑一遍，只数"不一致的对子"。16 个实例在 OFF/CUE/LIVE 三种条件下各跑一次，哪个实例在哪条臂上翻了车，逐格可查——论文里那张按实例展开的结果图（Figure 3），本质上就是把每个病例的 X 光片贴在墙上，不许任何汇总统计掩盖单个案例的故事。

🧬 把考题送上手术台：EnvOS 的三步流程

好，现在看 EnvOS 本身怎么造出这样一个会变的世界，并且证明它造对了。

核心是一个干净的数学对象——扰动 ρ = (δ, τ, c, g)：

• δ：权威状态上的改写算子（哪条记录、变成什么）；
• τ：触发条件（在哪个请求边界开火）；
• c：披露通道（新值通过什么界面、以什么形式出现）；
• g：一次性保险（整个 episode 最多触发一次）。

注意 δ 和 c 是分开的两件事：世界变了，不等于 agent 被通知了。论文里反复强调一条本体论戒律——"页面被服务过"、"模型被展示过"、"模型理解并使用了"是三个独立事件。前两个可以审计，第三个谁也不能假设。

整个框架分三步：

第一步：构造（Construction）

从现象（phenomenon）出发——"agent 见过的值在它行动之前被取代"，这是与应用无关的一类环境变化。再把它落到一个具体应用的可执行扰动上。种子世界 + 扰动 + 披露条件 + 成功不变量 + 评分器，打包成一个"候选评估工件"。

第二步：认证（Certification）——考题先体检，再开考

候选工件要过五道检查，任何一道不过关都不准入场：

1. 干预有效性：变更真的在声明的边界触发了吗？有没有误伤无关记录？"只触发一次"的保险丝灵不灵？
2. 观察一致性：允许的披露和权威状态对得上吗？承诺的通道真的走通了吗？
3. 可行性：得有一条脚本化的参考路线能真正走通任务——而且是在每个冻结的生成实例上单独验，不是验完模板就算数。
4. 行为区分度：故意做一个"有缺陷的脚本策略"，工件必须能把它揪出来。揪不出缺陷的考题，不配当考题。
5. 评分器鲁棒性：拿故意损坏的记录、擦边球、合法正例去喂评分器，看它会不会把脏档案当干净、把干净当脏。

检查只有三种结果：通过 / 违规 / 监控错误。"监控错误"——系统自己测不了——绝不算通过。评不了，就不许入场。这条规则看似死板，实则锋利：它堵死了"测不出来就算过"这条最常见的自我安慰通道。

第三步：受控执行 + 基于证据的评估

被认证的实例才能跑模型。执行时：任务实例、动作预算、有效性规则、结局不变量、分析规则全部预先冻结；发布清单（release manifest）对 29 个仓库路径、容器镜像、生成器、调用器、模型标识做 SHA-256 哈希，跑的时候哪怕一个比特漂移，驱动程序直接拒跑。修订？可以，但每一条都带日期公开披露，不许悄悄掺进来。

跑完之后，独立实现的第二套代码从归档证据里重新推导有效性与结局。归档 insufficient 的条款，就老老实实标"未决"，不许脑补。

⚖️ 法医的时间戳：先查考场，再判考生

评估一条轨迹时，EnvOS 的顺序是反直觉的，也是全文我最欣赏的一条纪律：

先判定这条 episode 有没有资格进分析，再判定它过没过。

什么叫没资格？——变更根本没触发；承诺给模型的观察没送达；注入器把别的记录误改了。这些情况下 agent 的失败是考场的错，不能记在考生头上。反过来，一条合法但未成功的 episode——包括把 48 步动作预算耗尽的那种——就是失败，不许换题重跑，不许"再给它一次机会"。每个格子只留两个保留名额（provider 掉线之类的故障走单独的登记通道，混不进成绩）。

这套"validity-first counting"由六阶段审计流水线撑着：认证、策略隔离（跑模型的 OS 账号是封禁的、能访问哪些源写死在配置里，还用金丝雀探针去戳有没有越界）、规则冻结、先有效性后计数、独立重推导、定向挑战。

结局判分看的是五个注册不变量：目标状态正确、只有一次提交、无附带损伤、提交后的必要延续动作、最终报告与提交状态一致。每一条都对照动作发生时刻的权威状态——不是任务结束时的快照。

这就是"监控录像"的本体：每一个动作都被钉在它发生的那一帧上，世界的样子也钉在那一帧上。事后任何人——包括多年后带着怀疑回来的审稿人——都可以把底片调出来，逐帧重放，重算当年的判决。

为什么这条顺序值得大书特书？因为评测界有一种积习：失败就是失败，先记账，再找借口。静态 benchmark 时代这种积习危害有限——环境冻结，所有失败确实都归 agent。可世界一旦会动，每一次"宽容地"把考场错误算到 agent 头上，榜单上就多一条冤案；每一次"热心地"把无效 episode 剔除出失败统计，榜单上就多一个水货。两种污染方向相反，毒性相同：都让"模型能力"这个本该精确的物理量，变成评测机关自身误差的函数。先查资格再判对错，是把两种污染同时掐死的唯一阀门。

🔍 连判卷人也上了被告席

故事到这里还差最后一环，也是这篇论文最不寻常的一环：审计评估器自己。

逻辑很直白——如果 EnvOS 声称"我们能分清 agent 的错和环境的错"，那它必须也经得起同样的问题："你凭什么说你的判分是对的？"

于是有了三组"档案挑战"（archive challenge）：拿真实 episode 的归档副本，故意改坏其中某份证据，看流水线能不能认出"这不再是干净的记录"。

• 密封挑战：一个独立的模型造了 28 个案例（对它的建造者白盒，但对搭建流水线的 Claude agent 全程保密），评分器 28/28 全部命中预期判决。
• 纯规则挑战——最精彩的一组：一个 GPT-6 对话只拿到规则摘录和档案 schema，看不到任何代码、论文、历史案例或结果，凭空设计了 56 个案例及各自的预期判决。作者照着规则把它们实现出来，再让另一个对话复核保真度，最终 36 个案例入场：10 个干净对照全部被正确接受；26 个损坏案例，一个都没被当成干净放过——24 个被直接揪出，2 个未下判决，0 个漏网。
• 外部挑战：一个 Gemini CLI agent 拿到规则、schema 和 15 份档案副本，自己设计并生成 56 个案例。流水线在 39 个损坏案例中抓住 25 个（理赔 14/20，诊所 11/19）；而"简单翻日志"的基线只抓住 4 个。

一句话版本：在盲造的脏档案面前，EnvOS 从未把脏的当干净的；在外部生成的案例上，它的捕获率是朴素日志检查的六倍多。

这项工作为什么必须做，论文写得很克制，但分量很重：既然这些环境是从种子程序化生成的、结局是由"经过审计的自动评分器"从已提交状态里算出来的，它们天然就是 RLVR 的训练场——而每一次评分器误判，都是一个喂给训练过程的毒奖励。挑战结果同时标出了这片训练场的雷区埋在哪。

⚠️ 诚实的边界：作者自己画下的框

这篇论文最"不性感"、但也最值钱的地方，是作者亲手给自己画的边界框：

• 两个 workflow 而已。 前瞻实验只有诊所预约和保险理赔，全部跑在一个合成职场测试床上。这不构成"方法可以移植到任意生产应用"的证据。
• "理解"无法审计。 页面被服务、帧被送达，都可留档；但模型"是否理解并使用了"那个值，任何仪器都测不到。论文把这条写成一条本体论戒律，而不是技术遗憾。
• 独立重推导不是第三方审计。 重推导的代码是同一支团队写的独立实现，能暴露实现之间的分歧，但暴露不了两家共享同一份归档证据时的共同盲区——所以才需要后面那组外部挑战。
• 挑战覆盖有死角。 三组挑战的访问权限、实现方式、能测的错误类型各不相同，漏网之案被如实登记，而不是从报告里消失。附录里甚至保留了一份带日期的勘误（erratum）：某个历史 block 的 Newcombe 区间存储有误，改了，写明日期，放在那里任人翻检。
• 探索性现象族不入主结论。 附录 S1 还报告了其它环境现象家族的认证与探索性评估，但作者明确声明：它们不与主实验混合，不构成任何检测率估计。

把边界画得这么清楚，不是因为作者谦虚，而是因为审计工作的信用恰恰建立在"声明了什么、没声明什么"的精确度上。一个不知道自己不知道什么的审计系统，比没有审计系统更危险——它会给错误结论盖上合格的印章。

🧠 费曼式收尾：把一锅浓汤熬回几勺

绕了这么远，值得带走的其实就几句话。

第一，世界是活的，评测必须带时间戳。 终态打分在动态环境里必然双向误判：把环境的错记在 agent 头上，把运气记成能力。EnvOS 的对策不是更聪明地打分，而是把"何时发生了什么"完整留档，让每个动作对照它发生那一刻的世界，而不是任务结束时的世界。

第二，界面即能力，提醒不等于送达。 0/16 → 2/16 → 15/16 不是同一个模型三次考试的分数，而是同一个模型面对三种"世界表达方式"的成绩单。"agent 行不行"这个问题，离了界面没有答案。

第三，先查考场，再判考生。 一条 episode 进不了分析，就不参与计数。这不是包庇 agent，而是不让 benchmark 机关自己的错误污染结论——而且反过来，合法但没做完就是没做完，预算耗尽也是失败，不许撒娇。

第四，审计是递归的。 判卷人也要被审，而且要用盲造案例审。这是通往 scalable oversight 的那条窄路：监督者本身必须处于被监督之下，一路递归到地基。

第五，严肃本身就是一种结果。 预注册、哈希清单、带日期的修订、没数完就放弃推断的 block——这套"笨功夫"让论文里每个数字都经得起翻案。在一个热衷于刷榜的领域，这种笨功夫比任何一个具体分数都稀缺。

第六，审计过的评测，才有资格当训练场。 这是论文埋在结尾的一条线索：因为每个环境都从种子生成、每个结局都由经过挑战检验的自动评分器从已提交状态算出，这套东西天然可以喂给 RLVR。但同一句话反过来说也成立——评分器一旦被信任，它的每个盲区都会变成模型的坏习惯。把评测做成可审计，不只是学术洁癖，是在给即将到来的大规模 agent 训练铺铁轨。

监控录像已经装好。接下来每一次 agent 在流动世界里的失误，我们都有机会回答那个真正重要的问题：

错的到底是谁？

📚 参考文献

• Kadu, A., Gopal, A., Singh, N., Jain, A., & Krishnan, A. (2026). EnvOS: Auditing Computer-Use Agents When the World Moves On — Phenomenon-Based Task Construction, Certification, and Evidence-Based Evaluation. Accepted at the NeurIPS 2026 Workshops on Agentic AI Benchmarks and Applications for Enterprise Tasks (AABA4ET) and on Continual Learning in the Era of Foundation Models and Embodied Agents (CL4FMAgents). arXiv:2610.40246.
  链接：https://arxiv.org/abs/2610.40246

（文中讨论的现象学框架、扰动形式化 ρ = (δ, τ, c, g)、诊所预约与保险理赔两组前瞻性实验、以及全部评估器挑战细节，均出自该论文及其附录。）

#每日论文 #paperscool #agent审计