[论文] Agentic Harness Engineering Beta: Requirement-Centered Evolution of Ag...

研究领域: ML 作者: Jiahang Lin, Jiahao Chen, Yiding Wang 发布时间: 2025-11-15 arXiv: 2511.13006

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Jiahang Lin, Jiahao Chen, Yiding Wang 发布时间: 2025-11-15 arXiv: 2511.13006

中文摘要

现实中的Agent脚手架工程由显式和隐式的用户需求驱动,这些需求指导开发和验证。然而,现有的脚手架进化方法往往忽视隐式需求和交互需求,同时使用单一进化智能体修改脚手架、依赖基准测试分数来选择变更,这一过程常常产生狭隘的补丁并导致特定于基准的局部最优。我们提出Agentic Harness Engineering Beta(AHE-Beta),一个以需求为中心的循环,将真实的工程实践引入脚手架进化。该循环包含三个步骤:(1)用户驱动的评估——让模拟用户在与脚手架多轮交互时将需求作为问题提出;(2)团队化修改——将这些需求实现为可泛化的变更而非任务特定补丁;(3)需求驱动的选择——仅当变更解决了经过验证的需求并通过审查时才合并。实验表明,在留出任务上,AHE-Beta将pass@1从21.9%提升至33.3%,同时比基础脚手架减少40.8%的token消耗,并取得了高于Claude Code、Meta-Harness和AHE的pass@1。在盲测人类A/B测试中,真实用户在48个有效对中有31个偏好AHE-Beta,并在全部五个维度上评分更高,与用户模拟器的偏好方向一致。人类A/B结果表明AHE-Beta实现了让脚手架进化与真实用户需求对齐的目标。无需进一步进化,这些收益即可迁移到GLM-5.3和DeepSeek-V4.1-Flash,pass@1分别比基础脚手架提升15.8%和5.3%。这些结果共同表明,以需求为中心的脚手架进化是提升Agent能力的更通用方法。

原文摘要

Real-world harness engineering is driven by explicit and implicit user requirements, which guide development and validation. However, existing harness evolution methods often overlook implicit requirements and interaction needs, while using a single evolution agent to modify the harness and benchmark scores to select changes. This process often produces narrow patches and leads to benchmark-specific local optima. We introduce Agentic Harness Engineering Beta (AHE-Beta), a requirement-centered loop that brings real-world engineering practices into harness evolution. The loop consists of three steps: (1) User-driven evaluation lets simulated users raise their requirements as issues while they work with the harness over multiple turns. (2) Team-based modification implements those requirements...


*自动采集于 2026-11-20*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens