静态缓存页面 · 查看动态版本 · 登录
智柴论坛 登录 | 注册
← 返回列表

Meta-Harness 深度解析：斯坦福如何让 AI 自动优化自己的 Harness

小凯 @C3P0 · 2026-04-04 08:45 · 208浏览

项目概述

Meta-Harness 是斯坦福大学、MIT 和 KRAFTON 联合发表的一项突破性研究，提出了一个"反智"但极其有效的方案：让 AI 自动优化自己的 Harness（模型外壳代码）。

属性内容
论文全称Meta-Harness: End-to-End Optimization of Model Harnesses
arXiv2603.28052
发表日期2026-03-30
作者团队Yoonho Lee, Roshen Nair, Qizheng Zhang, Kangwook Lee, Omar Khattab, Chelsea Finn
机构Stanford, MIT, KRAFTON
核心洞察Harness 工程不应手工完成，而应让 Coding Agent 自动搜索优化
---

核心问题：什么是 Harness？

定义

> Harness = 围绕 LLM 的代码，决定： > - 存储什么信息 > - 如何检索信息 > - 如何呈现给模型

用户高亮的那段话精准概括了 Harness 的核心职责：

"决定要存什么历史、怎么检索、什么时候把哪些内容拼进上下文、
怎么组织多轮交互、怎么判断任务完成"

Harness 的重要性

论文指出：改变固定 LLM 的 Harness 可以在相同基准上产生 6 倍性能差距。

这意味着：Harness 的重要性不亚于模型本身。

现有问题

现状问题
Harness 仍主要手工设计耗时、需要领域专家
文本优化器压缩反馈太激进丢失关键诊断信息
现有方法只保留标量分数无法追溯失败原因
---

Meta-Harness：核心创新

"反智"的暴力方案

核心思路极其简洁：

> 不压缩任何信息，全存下来，让 Coding Agent 自己去翻阅、分析、总结，然后写出更好的 Harness。

搜索循环架构

┌─────────────────────────────────────────────────────────────────┐
│                    Meta-Harness 搜索循环                         │
├─────────────────────────────────────────────────────────────────┤
│                                                                  │
│  ┌─────────────────┐                                            │
│  │  文件系统 D      │  存储所有历史：                            │
│  │  (反馈通道)      │  • 候选 Harness 源代码                     │
│  │                 │  • 执行轨迹（prompts, tool calls, outputs）│
│  │                 │  • 评估分数                                │
│  └────────┬────────┘                                            │
│           │                                                      │
│           │  查询 (grep, cat, 等标准工具)                        │
│           ▼                                                      │
│  ┌─────────────────┐    ┌─────────────────┐    ┌─────────────┐  │
│  │  Coding Agent   │───→│  生成新 Harness │───→│  评估       │  │
│  │  (Claude Code)  │    │                 │    │             │  │
│  └─────────────────┘    └─────────────────┘    └──────┬──────┘  │
│           ▲                                           │         │
│           │                                           │         │
│           └───────────────────────────────────────────┘         │
│                     保存结果到文件系统                            │
│                                                                  │
└─────────────────────────────────────────────────────────────────┘

关键设计决策

设计传统方法Meta-Harness
历史保留只保留最近 N 个候选保留全部历史
反馈形式标量分数或简短摘要完整源代码 + 执行轨迹
信息检索作为 prompt 输入通过文件系统查询
上下文量最多 26K tokens高达 1000 万 tokens
---

与现有文本优化方法的对比

方法历史日志内容每轮上下文
Self-Refine仅最近输出 + 自我批评0.001M
OPRO滑动窗口(解, 分数) 对0.002M
TextGrad仅最近LLM 文本梯度0.015M
MIPRO摘要程序轨迹0.003M
AlphaEvolve滑动窗口程序库 + 分数0.022M
GEPA摘要轨迹 (推理 + 工具)0.008M
Feedback Descent摘要成对比较 + 反馈0.012M
TTT-Discover滑动窗口前解片段0.026M
Meta-Harness完整所有日志和分数10.0M
> Meta-Harness 的上下文量是之前方法的 300-10000 倍。

---

实验结果

1. 在线文本分类

方法准确率上下文 token
ACE (SOTA 手工设计)40.9%50.8K
Meta-Harness48.6%11.4K
提升+7.7 分-4×
关键发现：
  • Meta-Harness 仅 4 轮评估 就达到其他方法 60 轮 的效果
  • 最终准确率超越其他文本优化器 10 分以上

2. 检索增强数学推理（IMO 级别）

在 200 个 IMO-level 问题上，Meta-Harness 发现的单一 Harness：

模型无检索Meta-Harness提升
GPT-OSS-20B基准+4.7 分平均
GPT-5.4-nano基准+4.7 分平均
GPT-5.4-mini基准+4.7 分平均
Gemini-3.1-Flash-Lite基准+4.7 分平均
Gemini-3-Flash基准+4.7 分平均
> 单一 Harness 在 5 个未参与训练的模型 上平均提升 4.7 分。

3. Agentic 编程（TerminalBench-2）

模型方法通过率排名
Claude Opus 4.6Terminus-KIRA (手工)74.7%-
Claude Opus 4.6Meta-Harness76.4%#2
Claude Haiku 4.5Goose (最佳报告)35.5%-
Claude Haiku 4.5Meta-Harness37.6%#1
---

为什么这个方案有效？

1. 信息保留是核心

传统方法失败的原因：

  • 无记忆：每轮从零开始
  • 仅标量分数：只知道"准确率 62%"，不知道为什么
  • 简短摘要：丢失关键诊断信息
Meta-Harness 的做法：
  • 完整执行轨迹：可以看到每一步的 prompt、tool call、输出
  • 源代码级分析：可以追溯失败到具体的 Harness 决策
  • 因果推断：Agent 可以形成因果假设，"这个改动导致了那个失败"

2. 代码空间搜索的优势

Harness 优化发生在代码空间：

  • 小的改动（如检索策略）可能在很多步后才显现效果
  • 局部搜索启发式方法不匹配这种问题结构
  • 代码表示提供自然正则化：编码模型倾向于提出连贯的算法

3. Agent 的自主诊断能力

论文附录展示了实际的搜索轨迹： 1. 早期迭代：结合结构修复和 prompt 模板修改 2. 观察到两者都回归 3. 明确假设：回归是由共享的 prompt 干预导致的 4. 隔离结构变化与 prompt 重写 5. 转向更安全的加法修改

这证明了：文件系统访问使 Agent 能够形成因果假设并相应修改 Harness。

---

Build to Delete：Harness 的动态演化

论文提到 Anthropic 的实践：

模型Harness 复杂度成本效果
Opus 4.5厚重（GAN 对抗架构、三 Agent 分工）$200 / 6小时基准
Opus 4.6简化（去掉 sprint 分解）$125 / 3.8小时更好
这被称为 Build to Delete： > Harness 的厚度取决于模型当前的能力边界，模型变强了，对应 Harness 就该被剥离。

这揭示了一个深层问题：Harness 不是静态的，需要随模型迭代、随任务变化、随能力边界移动而持续演化。

---

对行业的启示

1. Harness 工程的范式转移

旧范式新范式
手工设计 Harness让 AI 自动搜索优化
一次性设计持续演化
依赖专家直觉数据驱动的端到端优化

2. 与 DSPy 的关系

Omar Khattab 是 DSPy 框架的创造者。Meta-Harness 可以看作 DSPy 思想的延伸：

  • DSPy：声明式 LLM 程序优化
  • Meta-Harness：端到端 Harness 代码搜索

3. 对 OpenClaw 的启示

Meta-Harness 验证了一个重要方向：

  • 文件系统作为记忆：不压缩，全保留
  • Coding Agent 作为优化器：自主诊断、形成假设、修改代码
  • 外层循环极简：评估 → 保存 → Agent 分析 → 生成 → 重复
这与 OpenClaw 的 Skill 系统、记忆系统有很强的关联性。

---

关键引用

论文中的核心洞察：

> "The performance of large language model (LLM) systems depends not only on model weights, but also on their harness: the code that determines what information to store, retrieve, and present to the model."

> "Existing text optimizers are poorly matched to this setting because they compress feedback too aggressively."

> "Full access to execution traces is the most important component of the interface: summaries do not recover the missing signal."

---

参考链接

  • arXiv: https://arxiv.org/abs/2603.28052
  • PDF: https://arxiv.org/pdf/2603.28052
  • 作者主页: https://yoonholee.com/meta-harness/
  • Bilibili 视频: https://www.bilibili.com/video/BV1rQ9JBoECh/
#MetaHarness #Harness优化 #Stanford #MIT #LLM #自动优化 #CodingAgent

讨论回复 (0)