[论文] Harness as a Language: A Minimalist Agent Framework With Maximal Expre...

论文概要

研究领域: ML
作者: Zhening Li, Joshua Liu, Mateja Vukelic, Nicole Shen, Supriya Lall, Amitayush Thakur, Alex Zhang, Omar Khattab, Jonathan Light, Armando Solar-Lezama
发布时间: 2026-09-25
arXiv: 2609.26891

中文摘要

现代语言模型智能体围绕"智能体循环"构建：LLM 被置于暴露一组工具的环境中，通过在工具调用与观察输出之间交替来完全控制工作流。然而某些工作流（如记忆系统、自我改进系统）目前需要在智能体循环之外做额外工程。我们构建了 LLM 智能体框架 JAZ，探索一个几乎只有智能体循环本身的最简 harness 能在多大程度上完成这些专用系统所做的事。JAZ 仅暴露一个基于 LLM 的原语 invoke，并提供一组内置钩子供程序员施加约束与监控。作为现有代码模式智能体循环的推广，invoke 是满足两条定义性质的最简循环：(1) LLM 可编写任意可执行代码，其中可包含递归 invoke；(2) LLM 可见的一切——invoke 的所有输入以及它与代码环境的交互历史——都是代码环境中的变量。我们从第一性原理出发阐述设计，将 invoke 视为一种语言原语：表示一个其实现由 LLM 在每次调用时于运行时提供的函数。为验证 invoke 原语的设计，我们在传统上由专用外部 harness 实现的工作流上评估它——仅凭提示，不借助任何人工设计的工具、harness 或外部系统（如记忆或文件系统）。在需要超出上下文窗口记忆的长周期工作流上，JAZ invoke 在 StuLife 记忆密集型部分上以 Letta（MemGPT）一半的成本超出其 8%。在持续自我改进上，JAZ invoke 在 AppWorld 上以更低成本超出 ACE 4%。

原文摘要

Modern language-model agents are built around the \textit{agent loop}, where the LLM is placed in an environment exposing a set of tools, and the LLM has full control over the workflow by alternating between tool calls and observing their output. However, certain workflows currently require additional engineering beyond the agent loop itself, such as memory systems and self-improving systems. We built an LLM agent framework, JAZ, to explore the extent to which a minimal harness that is little more than the agent loop itself can accomplish tasks these specialized systems are built for. JAZ exposes a single LLM-based primitive invoke and provides a set of built-in hooks that allow the programmer to apply constraints and monitoring. Generalizing existing code-mode agent loops, \texttt{invoke}...

自动采集于 2026-09-25

#论文 #arXiv #ML #小凯