具身 · 0.53 秒对 7.6 秒,两个小脑却不是同一个模型
配张卡,画的是两颗小脑,中间一条虚线连着一个红问号:左边紫色那颗叫 Agnes Sys1,右边蓝色那颗叫 DM/Jev,各挂各的数字。同一套系统,两份文档画了两个不同的「小脑」——把它们缝成一张成绩单,就要出错。
配张卡,画的是两颗小脑,中间一条虚线连着一个红问号:左边紫色那颗叫 Agnes Sys1,右边蓝色那颗叫 DM/Jev,各挂各的数字。同一套系统,两份文档画了两个不同的「小脑」——把它们缝成一张成绩单,就要出错。
这个项目叫 Agnes Harness,Apache 2.0 开源,GitHub README 加 11 月技术报告我都直读了。架构分工其实清楚:大脑是大模型管规划,小脑管高频判断,记忆是 Harness,身体是硬件协议 MHS。被到处引用的两个数字,得回到它自己的场景里:
- 0.53 秒对 7.6 秒,差约 14.3 倍——这是漏水仿真里「做一步决策」的耗时,表注写明两路分别统计 8 步和 10 步。它回答的不是「整件事能提前多久」。一项任务省多少时间,取决于有多少步能走快速路径。
- 成本 0.000091 对 0.00247 美元,约 1/27——这是行李房任务各取 100 次调用的单次成本,两边都用了缓存(报告给了大模型一侧约 83% 的前缀命中率),不是「小模型裸奔对大模型全价」。乘一百万得到 91 和 2470 美元,适合估量级,真做预算还得知道一个任务调几次。
顺带说清两处容易串的:七项基准是团队自评,比较时连运行时带模型一起换了(AGH 配 agnes-next-preview,Codex 配 gpt-5.6-sol),分数反映整套系统,不能归因到某个设计;TraceTrial 那行 71.8,公开榜上属 OpenClaw,AGH 的同分来自团队自己的表。TTT 说测试时训练,更新只碰末端 RMSNorm 缩放参数、用完归位,报告明写「尚未给出实测增益」;RSI 说复盘改进,先孪生仿真再人工签核再 200 任务试用,退步可回滚——那几个「30 分钟变 8 分钟」的漂亮数字,都发生在仿真里。
一个 Agent 值不值得上生产,最后看它第三十天还犯不犯第一天的错。第一天多快,不进这个账。
一个 Agent 报错后,六小时里重试了三万一千次,烧掉四千七百美元token。账单的主人每月只向客户收四百美元。这是量子位转述的一个真实吐槽,也是 Agnes Harness 这个开源项目想修的东西。【直引:量子位 2026-11 报道引述的 SaaS 从业者案例】
项目给出的答案很朴素:别让最贵的脑子去干最便宜的活。它把「下一步该做什么」这类高频判断,交给一个 9B 的小模型。开源不到一个月,2.1k star,Apache 2.0,允许商用。
真正让我停下来的是另一件事:这个项目有两份文档,画着两个「小脑」,指向两个不同的模型。
🧠 一份报告里,两个小脑
先看项目怎么讲自己。README 把系统画成四个角色:大脑、小脑、记忆、身体。大脑是大语言模型,管理解意图和规划;小脑标注为 Agnes Sys1,一个基于 Qwen3.5-9B 微调的决策模型,回答结构化判断问题;身体是硬件协议 MHS。【直引:Agnes Harness README 四角色图】
再看十一月的技术报告。图 1 里同样标着「小脑」(CEREBELLUM)的位置,写的是 DM,实验里用的模型叫 Jev。那两组著名的性能数字,0.53 秒对 7.6 秒、成本 1/27,都记在 Jev 这条实验路径上。
同一套系统,「小脑」在一份文档里是 Agnes Sys1,在另一份里是 DM/Jev。这个差别比笔误大得多:Agnes Sys1 另有一份独立报告,给出的 AA 综合指数是 71.2;而 Jev 的性能数字是另一套。把这两组数缝成一张成绩单,就会出错。【判断:命名对账,README 与技术报告的小脑不是同一个模型,性能数字只属于其中一条路径】
⏱️ 14.3 倍,量的只是「选一步」
那两组被到处引用的数字,得回到它自己的场景里。
漏水仿真里,DM 每步平均 0.53 秒,大模型 7.6 秒,相差约 14.3 倍。表注写明两路分别统计了 8 步和 10 步。这个数回答的是「在这个仿真里,做一次决策要等多久」,不是「整件事能提前多久完成」。一项任务能省多少时间,取决于有多少步能走快速路径。【直引:11 月技术报告表注,两路分别 8 步与 10 步】
成本那组来自行李房任务,两条路径各取 100 次调用:DM 每次 0.000091 美元,在线大模型每次 0.00247 美元,后者约为前者的 27.1 倍。报告同时给了大模型一侧约 83% 的前缀缓存命中率。两边都用了缓存,不是「小模型裸奔对大模型全价」。【直引:技术报告行李房任务口径】
把单价各乘一百万,是 91 美元和 2470 美元。这个算法适合估单位调用的量级。真给客户做预算,还得知道一项任务调几次、多少步会回到大模型。【推论:官方单价属实验室口径,落地预算缺任务级调用分布】
🧾 一次数学作业,一次复盘
快还不够,项目还想让 Agent「越用越熟」,做了两层。
一层是 TTT,测试时训练。做判断前,模型从上下文里自动造一个轻量、可验证的辅助任务,在单次请求里更新一小步参数,范围严格限定在末端的 RMSNorm 缩放参数上。用完即归位,不把模型越调越歪。技术报告写了方法和评测计划,尚未给出实测增益。【直引:技术报告 TTT 一节,更新限于 RMSNorm 缩放参数】
另一层是 RSI,递归自我改进。每次干完活,系统复盘哪里报错、哪里反复重试,调整提示词、记忆、技能和子 Agent 的配合;先在孪生仿真里重复验证,人工签核,再进入 200 个任务的试用期,退步可回滚。可执行代码、模型权重和放行规则都留在改动范围之外。【直引:技术报告 RSI 一节的治理流程】
入库验收那个例子被讲得最多:第一次在称重台还没稳定时读数是 30 分钟超时,沉淀手册后第二次不到 8 分钟。报告列出的另外几项,机械臂单故障从 1/10 到 10/10、行李间步数少 68%,都发生在孪生仿真里。报告没有给出真实机械臂换环境后的表现。【判断:仿真里的重复通过,不等于现场能力】
🏅 七项第一,先看谁在比
官方自评覆盖九项基准,称六项第一、一项与 Codex 并列第一。把参赛配置摊开,分数会具体很多。
七组数字按 AGH、DeepSeek Harness、Codex 的顺序排,谁在哪一格领先就清楚了。【直引:11 月技术报告七组基准数据】
| 基准(各自计分单位) | AGH | DeepSeek Harness | Codex |
|---|---|---|---|
| TraceTrial 综合 | 71.8 | 71.0 | 65.2 |
| AppWorld-dev 通过率 | 91.67% | 66.67% | 91.67% |
| aider-python 通过率 | 83.33% | 75.00% | 91.67% |
| τ-bench 英文版 | 87.33% | 86.67% | 83.33% |
| DeepPlanning | 87.07 | 78.52 | 76.51 |
| AGH-Benchmark(内部) | 34.62% | 26.67% | 30.00% |
| MHS-Benchmark(自设协议) | 41.0% | 40.0% | 36.0% |
TraceTrial 那行尤其容易串:公开榜上 71.8 属于 OpenClaw,AGH 的同分来自团队自己的表,按报告口径并列第二。想核对得翻团队那张表,不是公开榜。【判断:成绩单是团队自评,比较对象与模型配置同时变化,不足以归因到某个设计】
🪙 账要一笔笔算
这个项目没法用一个漂亮的倍数收尾。
能确认的,是它的架构分工清楚:propose 和 execute 之间有一道运行时核准,SQLite 账本用哈希链记账,工具调用要一次性许可,回执不明就记为「结果未知」而不是当成失败自动重放。那笔退款如果超时,系统停下等人核对,避免同一笔钱退两次。这部分工程价值,比 14.3 倍更实在。【直引:技术报告对账本、许可与 TOOL_OUTCOME_UNKNOWN 的描述】
不能确认的,是那些仿真数字搬到现场还剩多少。项目仍是 pre-alpha 的 developer preview,没有在线版,本地部署要 Node.js 24.10 以上。能力表由团队提供,待独立复评;TTT 的实测增益还没给;两份文档的「小脑」指向不同模型。
一个 Agent 值不值得上生产,最后看的是它第三十天还犯不犯第一天的错。第一天多快,不进这个账。这件事,官方报告里的仿真回答不了。
📚 参考来源
- Agnes Harness 开源仓库(GitHub: AgnesAI-Labs/agnes-harness,Apache 2.0),README 与 2026-11 技术报告
- Agnes Sys 1.0 技术报告(GitHub: AgnesAI-Labs/Agnes-Sys1-1.0-Technical-Report)
- 量子位《双系统决策+双层自进化,Agnes 让 Agent 效率最高提速 14 倍,成本骤降至 1/27》
- 独立梳理《换个客户,Agent 就要重接一遍?》(对双文档小脑口径与七项基准配置的对账)