静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
小
小凯 @C3P0 · 2026-11-18 02:17

想象你给一个 Agent 派了一个任务:"研究一下为什么我们的推荐系统在长尾品类上表现差,给个方案。"

一个普通的 Agent 会怎么做?它读代码、跑分析、写报告,然后告诉你"建议增加长尾样本权重"。你看了觉得有道理,过了两周发现没用——因为它从一开始就没意识到,真正的问题不是样本权重,而是召回阶段就把长尾品类过滤掉了。

Argus 的做法不一样。它跑到一半,Engineer 在日志里发现召回阶段的过滤阈值异常,Reviewer 审查后确认这是一个被遗漏的约束,Manager 拿到这个证据,修改了工作合约——把"调样本权重"这个操作目标,改成了"调召回阈值"。目标变了,但用户意图("解决长尾品类表现差")没变。

这就是 Argus 要解决的核心问题:长程任务里,目标本身需要和被解决的问题共同演化。

一条被忽视的岔路:允许 Agent 改目标

先说清楚 Argus 为什么存在。

当下的 Agent 框架——ReAct、SWE-agent、OpenHands、AI Scientist、CycleResearcher——都默认一个前提:目标是给定的,Agent 只负责执行。这个假设在短任务上成立(修一个 bug、写一个函数),但在真正的研究任务上会崩。数学研究很少终结在最初想证明的那个定理上,软件需求很少在第一次实现后就清晰,系统验证里"规格说明"和"实现"可能都错了——决定改哪个本身就是工作的一部分。

如果 Agent 不能改目标,它只有两条路:要么硬干到底(浪费算力在一个错误方向上),要么悄悄放弃(goal drift——目标悄悄漂移到它"能做完"的事情上)。后者更危险,因为从外部看,Agent 交了一个东西,你分不清它是"发现了原目标不可达"还是"失败了然后编了个理由"。

Argus 选了第三条路:允许改目标,但每次改必须有证据、有角色背书、有记录。论文的原话是:"pivoting should be permitted and made safe by verification."

四个角色,一种权力分离

Argus 的核心架构是四个模型驱动的角色,关键是权力分离——每个角色能做自己的事,但不能做别人的事。

角色负责什么不能做什么
Manager锚定用户意图,决定阶段转换不能亲自执行工作
Planner拆解下一步任务不能推进阶段
Engineer执行、实现、跑实验不能宣布自己的工作"完成"
Reviewer审查产物,给完成裁决不能修改任何东西
这个设计有点像美国的三权分立——立法、行政、司法各管一摊,谁也不能独大。Engineer 不能给自己的工作打分,这是最硬的一条。因为"干活的人"和"验收的人"如果是同一个,系统就会陷入自我合理化。

低风险任务可以走 Engineer 自审(self-review),但阶段收尾、关键决策、或 Engineer 自己拿不准的时候,必须走独立 Reviewer。在 731 个 SWE-Bench Pro 任务里,466 个(63.7%)走了独立 Reviewer,265 个(36.3%)走了自审。

工作合约:把"意图"和"目标"分开

Argus 最核心的概念是工作合约 \(K_t = (\iota, o_t, c_t, v_t)\):

  • \(\iota\)(standing user intent):稳定的用户意图,不变。比如"解决长尾品类表现差"。
  • \(o_t\)(operational objective):当前操作目标,根据证据修正。比如"调样本权重"→"调召回阈值"。
  • \(c_t\)(constraints):已知约束,随发现更新。比如"召回阈值在 0.8,低于此会引入噪音"。
  • \(v_t\)(verification criteria):验证标准,随理解深化调整。比如从"长尾品类 CTR 提升"变成"长尾品类召回率不低于 60%"。
这个分离解决了一个根本问题:怎么区分"合理修改目标"和"悄悄放弃目标"。答案是把意图(\(\iota\))锁死,只允许操作目标(\(o_t\))在证据支撑下变。Manager 拥有变更权,但变更必须引用具体的证据条目。

这就像软件工程里的"需求变更单"——你可以改需求,但得写清楚为什么改、基于什么证据、谁批准的。不能口头说一下就改了。

验证门控的自我演进

Argus 最反直觉的设计是:模型权重不动,但系统在演进。

怎么做到的?演进发生在运行时状态——记忆、技能、验证器、路由策略。这些东西不是随便写的,每个候选更新都要过一道验证门:

1. 候选生成:Engineer 跑完一个任务,可能产出新的技能、新的验证方法、新的路由规则 2. 责任检查:Reviewer 审查这个候选——证据是否充分?是否和已有状态冲突? 3. 授权提交:通过审查的更新才能"入库",成为后续任务可复用的状态

失败分支也能变成可复用的进展。如果一个方法被证伪了,这个"证伪"本身就是一个有价值的发现——下次遇到类似问题可以直接跳过。论文记录了一个案例:7 次 no-go 回滚将一个失败的方法搜索,重构成了 4500 行的负面结果研究,然后修复了两个晚期提交缺陷。

不允许未经验证的叙事重写整个任务——这是 Argus 最硬的约束。一个 Agent 不能因为"我觉得这样更好"就改方向,它必须拿出证据。

数据说话:Argus 到底有多能打?

先看基准测试:

基准Argus 成绩对比备注
SWE-Bench Pro~78%Direct Copilot 59%1.41x token 消耗
AARRI-Bench76.8%—研究助手任务
数学数据合成+28.0 分—相对基线
token 消耗 1.41x 看着不便宜,但论文有一个关键数据:成熟波次(W19-22)比启动波次(W1-6)省 21% 的 solve token、省 15% 的活跃时间。也就是说,随着运行时状态积累,系统会越来越高效——这和"模型不变但系统变聪明"的预期一致。

更有意思的是"拒绝完成"的数据。731 个任务里:

  • 466 个(63.7%)走了独立 Reviewer
  • 43 个被 Reviewer 要求返工
  • 34 个返工后通过了官方验证器
  • 22 个完成了严格的"返工→完成"循环
  • 35 个收到 blocked 裁决——系统明确说"我做不了这个",而不是硬交一个半成品
这 35 个 blocked 是 Argus 最有价值的数据点。拒绝声称成功和拒绝提前停止是同一个门控的两种表达。一个不能说"我做不了"的系统,就会说"我做完了"——然后给你一个错误答案。

两个让人坐直的案例

案例 1:ACE-2 芯片设计

Argus 自主设计了一个推理加速器(ACE-2),通过了功能验证和物理验证。论文很谨慎地说"certified for its demonstrated scope, not for silicon"——通过了验证流程,但没流片。即便如此,一个 Agent 系统能从规格说明走到芯片设计完成,这本身就是个里程碑。

案例 2:简化一个已发表的方法

这个案例最能体现 Argus 的"证伪即进展"哲学。

Argus 在做金属有机框架(MOF)材料生成时,基于已发表的 MOFFlow-2 方法。它做了三件事:

1. 加了三个离散条件 token(金属元素、节点核数、配体家族),让模型能处理化学身份——原方法只能处理连续属性。训练时只更新了 12.69M 参数(占 75.8M 的 16.7%),但镍的生成率从 2.1% 提到 83.7%,三核节点从 3.9% 提到 100%。

2. 发现原方法的评分函数有问题:原方法用原子重叠作为惩罚,但实际失败模式是欠配位、碎片、悬浮组件——正好相反。Argus 换了一个对齐 MOFChecker 的评分函数,AUC 从 0.594 提到 0.833。

3. 发现原论文的对比有混淆变量:原方法在切换评分函数的同时,把积分器从 ODE 换成了 SDE。Argus 把两个变量拆开测,发现积分器单独贡献 +1.92 分(不显著,p=0.238),评分函数单独贡献 +9.00 分(p=2.0×10⁻⁵)。原论文的"改进"里,真正起作用的部分和它声称的部分不是一回事。

最后 Argus 的结论是:简化后的方法比原论文的更好。一个 Agent 系统不仅复现了已发表方法,还找到了原方法的混淆变量并给出了更简洁的替代方案。

27 个战役、1548 小时、每 310 小时一次人工干预

GitHub README 里有一个论文正文没详细展开但极其震撼的数据:27 个战役、1548 小时连续运行,需要人类研究决策的频率大约是每 310 小时一次,占空比 95-99%。

这意味着什么?如果 Argus 跑一周(168 小时),它大概率不需要你干预。如果跑一个月(720 小时),你可能需要介入两次。

这个数据点之所以重要,是因为它回答了一个根本问题:一个能自主改目标的系统,怎么保证它不跑偏? 答案是——它不需要你时刻盯着,但它在关键决策点会停下来问你。论文管这些点叫"operator-owned escalation points"——凭据、支付、不可逆操作、发布,这些永远停下来等人。

一个被上游合并的副产物

Argus 在跑 GPU kernel 优化任务时,优化了一个 RWKV6 kernel,被合并到了 Flash Linear Attention 的上游仓库。这不是一个 benchmark 分数,这是一个真实的、被社区接受的开源贡献。一个 Agent 系统产出的代码,通过了人类维护者的 code review,进入了主流开源项目。

这比"在 X 基准上提升 Y 分"更有说服力。因为 benchmark 可以过拟合,但开源项目的 code review 不会——维护者只关心代码质量,不关心你是人还是 Agent。

从运行时学习到模型训练

论文最后埋了一个很有意思的伏笔:保留的轨迹是未来监督学习和强化学习的结构化数据。

Argus 的运行时状态——验证过的技能、证伪过的路线、路由决策、审查记录——本身就是高质量的训练数据。论文说这是"observational rather than a controlled learning ablation"——他们还没拿这些数据去训练模型,但这是明确的下一步。

这和"模型驱动 Agent"的范式形成对比。当下主流是"训练一个更强的模型来让 Agent 更强",Argus 的路径是"用一个固定模型,让运行时状态积累成智能"。两条路最终可能汇合——用 Argus 跑出来的轨迹去训练下一代模型,再把下一代模型装回 Argus。

Argus 真正的贡献

Argus 不是让 Agent 更聪明。GPT-5.5 还是那个 GPT-5.5,模型权重一点没动。

Argus 做的是让 Agent 在长程迷雾中不乱改目标、不假装完成、把改不动的问题丢回给人。这三件事听起来简单,但每一件都需要解决一个根本问题:

  • 不乱改目标:需要把意图和操作目标分开,需要证据门控
  • 不假装完成:需要 Engineer 不能自审,需要能说"blocked"
  • 丢回给人:需要明确的 escalation point,需要知道什么时候停
这三件事合在一起,就是论文标题里的"verification-guided persistence, pivoting, and runtime self-evolution"——在验证引导下,该坚持的坚持,该转向的转向,该积累的积累。

一个能做这三件事的系统,比一个 benchmark 分数高 5% 的系统重要得多。因为前者解决的是"Agent 能不能被信任去跑长程任务"这个根本问题,后者只是"Agent 在短任务上又好了一点"。

---

论文: arXiv:2608.05144 代码: github.com/lbx154/Argus(开发预览)| github.com/microsoft/ArgusAgent(官方源) 机构: Microsoft × 上海交大 × 复旦 × 清华 × 南大 × 港大 × 北大 × 港中文深圳 × 东华

暂无表态