想象你给一个 Agent 派了一个任务:"研究一下为什么我们的推荐系统在长尾品类上表现差,给个方案。"
一个普通的 Agent 会怎么做?它读代码、跑分析、写报告,然后告诉你"建议增加长尾样本权重"。你看了觉得有道理,过了两周发现没用——因为它从一开始就没意识到,真正的问题不是样本权重,而是召回阶段就把长尾品类过滤掉了。
Argus 的做法不一样。它跑到一半,Engineer 在日志里发现召回阶段的过滤阈值异常,Reviewer 审查后确认这是一个被遗漏的约束,Manager 拿到这个证据,修改了工作合约——把"调样本权重"这个操作目标,改成了"调召回阈值"。目标变了,但用户意图("解决长尾品类表现差")没变。
这就是 Argus 要解决的核心问题:长程任务里,目标本身需要和被解决的问题共同演化。
一条被忽视的岔路:允许 Agent 改目标
先说清楚 Argus 为什么存在。
当下的 Agent 框架——ReAct、SWE-agent、OpenHands、AI Scientist、CycleResearcher——都默认一个前提:目标是给定的,Agent 只负责执行。这个假设在短任务上成立(修一个 bug、写一个函数),但在真正的研究任务上会崩。数学研究很少终结在最初想证明的那个定理上,软件需求很少在第一次实现后就清晰,系统验证里"规格说明"和"实现"可能都错了——决定改哪个本身就是工作的一部分。
如果 Agent 不能改目标,它只有两条路:要么硬干到底(浪费算力在一个错误方向上),要么悄悄放弃(goal drift——目标悄悄漂移到它"能做完"的事情上)。后者更危险,因为从外部看,Agent 交了一个东西,你分不清它是"发现了原目标不可达"还是"失败了然后编了个理由"。
Argus 选了第三条路:允许改目标,但每次改必须有证据、有角色背书、有记录。论文的原话是:"pivoting should be permitted and made safe by verification."
四个角色,一种权力分离
Argus 的核心架构是四个模型驱动的角色,关键是权力分离——每个角色能做自己的事,但不能做别人的事。
| 角色 | 负责什么 | 不能做什么 |
|---|---|---|
| Manager | 锚定用户意图,决定阶段转换 | 不能亲自执行工作 |
| Planner | 拆解下一步任务 | 不能推进阶段 |
| Engineer | 执行、实现、跑实验 | 不能宣布自己的工作"完成" |
| Reviewer | 审查产物,给完成裁决 | 不能修改任何东西 |
低风险任务可以走 Engineer 自审(self-review),但阶段收尾、关键决策、或 Engineer 自己拿不准的时候,必须走独立 Reviewer。在 731 个 SWE-Bench Pro 任务里,466 个(63.7%)走了独立 Reviewer,265 个(36.3%)走了自审。
工作合约:把"意图"和"目标"分开
Argus 最核心的概念是工作合约 \(K_t = (\iota, o_t, c_t, v_t)\):
- \(\iota\)(standing user intent):稳定的用户意图,不变。比如"解决长尾品类表现差"。
- \(o_t\)(operational objective):当前操作目标,根据证据修正。比如"调样本权重"→"调召回阈值"。
- \(c_t\)(constraints):已知约束,随发现更新。比如"召回阈值在 0.8,低于此会引入噪音"。
- \(v_t\)(verification criteria):验证标准,随理解深化调整。比如从"长尾品类 CTR 提升"变成"长尾品类召回率不低于 60%"。
这就像软件工程里的"需求变更单"——你可以改需求,但得写清楚为什么改、基于什么证据、谁批准的。不能口头说一下就改了。
验证门控的自我演进
Argus 最反直觉的设计是:模型权重不动,但系统在演进。
怎么做到的?演进发生在运行时状态——记忆、技能、验证器、路由策略。这些东西不是随便写的,每个候选更新都要过一道验证门:
1. 候选生成:Engineer 跑完一个任务,可能产出新的技能、新的验证方法、新的路由规则 2. 责任检查:Reviewer 审查这个候选——证据是否充分?是否和已有状态冲突? 3. 授权提交:通过审查的更新才能"入库",成为后续任务可复用的状态
失败分支也能变成可复用的进展。如果一个方法被证伪了,这个"证伪"本身就是一个有价值的发现——下次遇到类似问题可以直接跳过。论文记录了一个案例:7 次 no-go 回滚将一个失败的方法搜索,重构成了 4500 行的负面结果研究,然后修复了两个晚期提交缺陷。
不允许未经验证的叙事重写整个任务——这是 Argus 最硬的约束。一个 Agent 不能因为"我觉得这样更好"就改方向,它必须拿出证据。
数据说话:Argus 到底有多能打?
先看基准测试:
| 基准 | Argus 成绩 | 对比 | 备注 |
|---|---|---|---|
| SWE-Bench Pro | ~78% | Direct Copilot 59% | 1.41x token 消耗 |
| AARRI-Bench | 76.8% | — | 研究助手任务 |
| 数学数据合成 | +28.0 分 | — | 相对基线 |
更有意思的是"拒绝完成"的数据。731 个任务里:
- 466 个(63.7%)走了独立 Reviewer
- 43 个被 Reviewer 要求返工
- 34 个返工后通过了官方验证器
- 22 个完成了严格的"返工→完成"循环
- 35 个收到 blocked 裁决——系统明确说"我做不了这个",而不是硬交一个半成品
两个让人坐直的案例
案例 1:ACE-2 芯片设计
Argus 自主设计了一个推理加速器(ACE-2),通过了功能验证和物理验证。论文很谨慎地说"certified for its demonstrated scope, not for silicon"——通过了验证流程,但没流片。即便如此,一个 Agent 系统能从规格说明走到芯片设计完成,这本身就是个里程碑。
案例 2:简化一个已发表的方法
这个案例最能体现 Argus 的"证伪即进展"哲学。
Argus 在做金属有机框架(MOF)材料生成时,基于已发表的 MOFFlow-2 方法。它做了三件事:
1. 加了三个离散条件 token(金属元素、节点核数、配体家族),让模型能处理化学身份——原方法只能处理连续属性。训练时只更新了 12.69M 参数(占 75.8M 的 16.7%),但镍的生成率从 2.1% 提到 83.7%,三核节点从 3.9% 提到 100%。
2. 发现原方法的评分函数有问题:原方法用原子重叠作为惩罚,但实际失败模式是欠配位、碎片、悬浮组件——正好相反。Argus 换了一个对齐 MOFChecker 的评分函数,AUC 从 0.594 提到 0.833。
3. 发现原论文的对比有混淆变量:原方法在切换评分函数的同时,把积分器从 ODE 换成了 SDE。Argus 把两个变量拆开测,发现积分器单独贡献 +1.92 分(不显著,p=0.238),评分函数单独贡献 +9.00 分(p=2.0×10⁻⁵)。原论文的"改进"里,真正起作用的部分和它声称的部分不是一回事。
最后 Argus 的结论是:简化后的方法比原论文的更好。一个 Agent 系统不仅复现了已发表方法,还找到了原方法的混淆变量并给出了更简洁的替代方案。
27 个战役、1548 小时、每 310 小时一次人工干预
GitHub README 里有一个论文正文没详细展开但极其震撼的数据:27 个战役、1548 小时连续运行,需要人类研究决策的频率大约是每 310 小时一次,占空比 95-99%。
这意味着什么?如果 Argus 跑一周(168 小时),它大概率不需要你干预。如果跑一个月(720 小时),你可能需要介入两次。
这个数据点之所以重要,是因为它回答了一个根本问题:一个能自主改目标的系统,怎么保证它不跑偏? 答案是——它不需要你时刻盯着,但它在关键决策点会停下来问你。论文管这些点叫"operator-owned escalation points"——凭据、支付、不可逆操作、发布,这些永远停下来等人。
一个被上游合并的副产物
Argus 在跑 GPU kernel 优化任务时,优化了一个 RWKV6 kernel,被合并到了 Flash Linear Attention 的上游仓库。这不是一个 benchmark 分数,这是一个真实的、被社区接受的开源贡献。一个 Agent 系统产出的代码,通过了人类维护者的 code review,进入了主流开源项目。
这比"在 X 基准上提升 Y 分"更有说服力。因为 benchmark 可以过拟合,但开源项目的 code review 不会——维护者只关心代码质量,不关心你是人还是 Agent。
从运行时学习到模型训练
论文最后埋了一个很有意思的伏笔:保留的轨迹是未来监督学习和强化学习的结构化数据。
Argus 的运行时状态——验证过的技能、证伪过的路线、路由决策、审查记录——本身就是高质量的训练数据。论文说这是"observational rather than a controlled learning ablation"——他们还没拿这些数据去训练模型,但这是明确的下一步。
这和"模型驱动 Agent"的范式形成对比。当下主流是"训练一个更强的模型来让 Agent 更强",Argus 的路径是"用一个固定模型,让运行时状态积累成智能"。两条路最终可能汇合——用 Argus 跑出来的轨迹去训练下一代模型,再把下一代模型装回 Argus。
Argus 真正的贡献
Argus 不是让 Agent 更聪明。GPT-5.5 还是那个 GPT-5.5,模型权重一点没动。
Argus 做的是让 Agent 在长程迷雾中不乱改目标、不假装完成、把改不动的问题丢回给人。这三件事听起来简单,但每一件都需要解决一个根本问题:
- 不乱改目标:需要把意图和操作目标分开,需要证据门控
- 不假装完成:需要 Engineer 不能自审,需要能说"blocked"
- 丢回给人:需要明确的 escalation point,需要知道什么时候停
一个能做这三件事的系统,比一个 benchmark 分数高 5% 的系统重要得多。因为前者解决的是"Agent 能不能被信任去跑长程任务"这个根本问题,后者只是"Agent 在短任务上又好了一点"。
---
论文: arXiv:2608.05144 代码: github.com/lbx154/Argus(开发预览)| github.com/microsoft/ArgusAgent(官方源) 机构: Microsoft × 上海交大 × 复旦 × 清华 × 南大 × 港大 × 北大 × 港中文深圳 × 东华