Schema Harness 让 Claude Opus 4.8 + Fable 5 在 ARC-AGI-3 上从 42.83% 跳到 98.98%

> 今天 AI 圈:ARC-AGI-3 公榜上,Claude Opus 4.8 + Fable 5 这对组合在自家 Claude Code 编排下得分只有 42.83%,但套上一层叫 Schema 的 Harness,分数直接飙到 98.98%,56.15 个百分点的绝对提升——模型没换,只换了"怎么用模型"。GPT-5.6 Sol 同样的 Harness 下拿到 95.35%。这意味着 Harness 已经成了 Agent 时代的主导抽象层,模型权重反而是次要变量。

事件内容

Schema 在 ARC-AGI-3 公榜的分数

7 月 17 日 Hacker News 热门里冒出一个项目:Schema——一个把 ARC-AGI-3 环境的世界模型编码成"可运行程序"而不是"向量表示"的 Agent Harness。论文与代码挂在 schema-harness.github.io。

它在 ARC-AGI-3 Public 集的 25 个游戏上的 RHAE 分数是这两个对比:

配置	RHAE 分数
Schema Harness + Claude Opus 4.8 + Fable 5	98.98%
Schema Harness + GPT-5.6 Sol xhigh + Sol max	95.35%
Claude Code + Opus 4.8 + Fable 5(受控对比基线)	42.83%
GPT-5.6 Sol max(ARC Prize 官方最佳单变体)	13.33%

受控对比里只换了 Harness,模型没动,56.15 个百分点的提升。

Schema 怎么做到的

Schema 的核心是让模型把环境编码成一份 world_model.py 的 Python 程序,而不是直接在游戏上行动。三件硬约束:

1. 世界模型必须编码为可运行的 step(state, action) 程序 2. 使用前必须对每一条记录的转换通过验证(回测) 3. 所有动作只能通过 commit_actions 发送,任何预测错误立即丢弃剩余计划

外循环是 observe → deliberate → execute → record 四步。单次 deliberation 内部又是 theorize(coding) → certify(backtest) → plan(BFS) → commit 四步。这意味着模型先写一份预测接下来会发生什么的代码,然后回放历史数据核对,通过了再做 BFS 搜索最短路径,然后才提交动作。

如果某一步预测错 1 格,Schema 立即停止后续计划,把这次错误作为反例修订 step() 程序。整个世界模型是"文本文件 + 可 diff + 可阅读"的——这是它的可解释性来源,也是它能在 25 个游戏上几乎全拿满分的根本原因。

历史进度曲线

时间	RHAE
2025 年 3 月	0.51%
2025 年 7 月(GPT-5.6 Sol max)	7.78%
GPT-5.6 Sol max / Public	13.33%
Claude Code + Opus 4.8 + Fable 5(基线)	42.83%
Schema + Opus 4.8 + Fable 5	98.98%

18 个月内从 0.51% 飙到接近满分。Schema 是这一步里最大的单点跳跃。

深度剖析

"模型使用方式远比模型本身更重要"——Harness 抽象层崛起

这篇文章最核心的一句话不夸张:"How you use the model matters a lot"。

把这件事拆开看:Claude Opus 4.8 和 GPT-5.6 Sol 都是各家目前的旗舰模型,2025 年末到 2026 年初全球公认的最强基座之一。它们在通用 Harness(Claude Code)下搞 ARC-AGI-3 的得分是 42.83% 和 13.33%。换上一个专门为"显式世界模型 + 回测验证 + 计划-行动分离"设计的 Harness,两个模型的得分都直接逼近 100%。

这给 2026 H2 的 AI 应用层给出了一条非常具体的路:前端工程、产品差异化、Agent 框架的竞争主战场不再是基座模型,而是 Harness 编排。

OpenAI 的 Operator / Anthropic 的 Claude Code / Manus / Genspark / Devin ——这些产品本质上都在做 Harness(广义)。Schema 这个开源项目等于把这些抽象层的具体技术形态变成了可读代码、可验证论文。

状态归因 + 机制发现的联合求解

Schema 论文最有意思的部分不是分数本身,而是它解决了一个早就被 VIGA 和 WorldCoder 单独攻打过的问题:怎么同时知道"状态是什么"和"规则是什么"。

状态归因:环境里的对象、玩家、墙、计数器分别对应哪些像素模式。机制发现:按了某个键之后状态会怎么变。

这两个问题不能独立求解——一个看似合理的状态切分,可能因找不到一致转换规则而被证伪。Schema 的解法是把两者编码在同一份可编辑程序里:模型可以边观察边修正规则,也可以边修正规则边重新假设状态。

论文用狭义相对论的诞生做类比:Lorentz 路线(保留以太,改规则)对比 Einstein 路线(放弃以太作为状态的一部分,改"状态是什么")。Schema 鼓励模型走 Einstein 路线——当遇到规则解释不了的失败时,模型被允许直接修改"状态"的定义。

这条思路一旦成立,就不只是 ARC-AGI-3 的事了。任何"规则未明"的环境——机器人操控、生产线异常处理、长流程运维——Schema 这套框架都能套。

一个真实案例:LS20 关的代码片段

论文展示了一个具体的迭代轨迹:Opus 4.8 在 LS20 关卡里提交动作 [2,2,2,3,2,2] 后,Block 把指示器重绘成了栗色——77 个格子预测错误。

普通 Agent 会重试一个不同的动作序列。Schema 让 Agent 立即停止后续计划,把这次错误作为反例写入 world_model.py,然后修订"哪些颜色代表指示器"的规则,回测,再 BFS 找最短路径。7 关,642 步对人类 780 步,RHAE 100%。

关键设计是:单次预测不匹配即停止执行——把不匹配的转换作为反例用于修订 step()。这等于在 Agent 决策的每一个粒度上都做了"试错 + 修订"的闭环。

值得关注的原因

1. Harness 抽象层是 2026 H2 AI Agent 主导战线。OpenAI Operator / Anthropic Claude Code / Manus / Devin 这些产品本质上都是 Harness 设计的某种表达。Schema 把 Harness 的具体形态变可读、可复现、可证伪。 2. "模型不动换 Harness" 就能改 56 个百分点——这是把行业对模型迭代速度的过度关注拉回 Harness 设计层面的最硬数据。Cursor、Claude Code、Codex 这些工具的下一步升级,会在 Harness 抽象上展开。 3. Schema 完全开源 + 论文公开,这是 ARC-AGI-3 系列里第一个达到接近满分的工作,且可以让任何拿到前沿模型 API 的人独立复现。这意味着 Harness 不再是 OpenAI/Anthropic 的封闭黑盒。 4. "显式世界模型 + 回测验证 + 计划-行动分离" 这套范式对其他任务有迁移性。机器人操控、生产线异常、长流程运维,都可以用相似思路做。

风险与待观察

98.98% 是自报分数,未经过 ARC Prize 独立验证。半私集合(Semi-private)的 Schema 表现尚不清楚。
GPT-5.6 Sol 行的对比不是严格受控消融。95.35% 是 xhigh + max 回退配置,13.33% 是官方最佳单变体,模型选择不完全等价。
Schema 是 25 个公开游戏的结果,泛化到新环境的稳定性需要更多评估。
Harness 抽象层开源并不等于 Harness 工程能力开源。Schema 论文公开了思路,但如何把它嵌入到 Claude Code / Cursor 这种产品级的 Agent 工具里,是另一回事。

---

信息来源:

Schema Harness 论文与项目页:https://schema-harness.github.io/
Hacker News 热门讨论(buzzing.cc 中文翻译):HN 2026-07-17
ARC-AGI-3 公榜基线数据:ARC Prize 官方公开数据集