当 AI 被要求成为更好的物理学家：Aspire 基准揭示 LLM 自演化的真正瓶颈

一个具体的场景

你给一个 LLM agent 一个任务："成为更好的物理学家"。

没有 AIME 题库，没有 MMLU 评分脚本，没有"训练 100 步后准确率提升 X%"的明确目标。就一句话——"成为更好的物理学家"。

agent 要做什么？它得自己想清楚：

• "物理学家"应该会什么？解题？建模？读论文？设计实验？
• 我现在哪里不行？是数学不够强，还是物理直觉不够？
• 怎么学？刷题？读论文？做项目？
• 学完怎么知道有没有进步？自己出题考自己？找外部 benchmark？

这是人类学生每天都在做的事。但对 LLM agent 来说，这是一个几乎全新的任务类型。

现有的 LLM 自演化研究，都是给 agent 一个明确的任务——"在 AIME 上提升准确率"。agent 只需要搜索"怎么提升"（用什么数据、什么训练方法），不需要搜索"学什么"。论文把这种设定叫 explicit-task optimization。

Aspire 要回答的问题是：当"学什么"也交给 agent 自己决定时，会发生什么？

三个研究问题

论文围绕三个 RQ 展开：

RQ1：当 explicit post-training task 被替换为 vague capability goal 时，什么会改变？

答案：搜索努力从"怎么优化"转向"目标解释"。agent 不再只是搜索优化路径，而是先要弄清楚"目标到底是什么意思"。

RQ2：从 instruction-tuned checkpoint 出发，LLM 能否通过 self-directed weight updates 把 vague goal 转化为 retained capability gain？

答案：几乎不能。weight-level gains 稀疏且不稳定。agent 经常在不匹配的数据上训练，信任狭窄的自评，导致 local gains 无法迁移到 hidden evaluation。继续搜索和训练甚至会抹掉之前的进步。

RQ3：除了 model weights，agent harness（支撑脚手架）能演化吗？

答案：部分能。agent 能通过 harness-editing loops 改进自己的工具配置和 prompt 策略。但最强的演化 harness 仍然低于 engineered Qwen-Agent reference——人工设计的脚手架仍然占优。

为什么 vague goal 比 explicit task 难得多

论文最深刻的洞察是：vague goal 改变了搜索空间的维度。

Explicit task 下，搜索空间是 1 维的——"怎么优化固定目标"。agent 在这个维度上搜索优化路径。

Vague goal 下，搜索空间是 3 维的：

1. What to optimize：把"成为更好的物理学家"分解成什么子目标？
2. How to optimize：用什么数据、什么方法？
3. How to verify：怎么知道进步是真的，不是过拟合到自己的 proxy？

前两个维度是 agent 可以自己搜索的，但第三个维度——验证——本质上需要外部 ground truth。agent 自己出的题，agent 自己评分，无论分数多高都不能证明能力真的提升了。

这就是 Aspire 的核心设计：evaluation items 对 agent 完全隐藏。agent 看不到 evaluation set，只能基于 vague goal 自己构造 proxy。external evaluator 用隐藏的 520 个 expert-authored items 测试 agent 演化后的真实能力。

520 个 items 跨 6 个 goal，覆盖数学推理、代码生成、长文本理解、多语言、工具使用、推理质量。

关键发现：weight-level 自演化几乎不工作

论文的实验结果对 LLM 自演化社区是一个冷水浇头：

1. Weight-level gains 稀疏且不稳定：agent 能通过 self-directed training 在某些 proxy 上提升，但这些提升无法迁移到 hidden evaluation
2. Mismatched training data：agent 经常选择与目标能力不匹配的数据。比如目标是"物理推理"，agent 却在通用数学题上训练
3. Narrow self-evaluation：agent 信任自己构造的狭窄评测，导致 local gains 是 proxy overfitting
4. Continued search can erase gains：继续训练不仅不提升，反而会抹掉之前的进步——因为 agent 在错误的方向上越走越远

最强模型（Qwen3-32B）在 6 个 goal 上的平均 hidden evaluation 表现：演化后略低于演化前。这不是"没进步"，是"退步了"。

Harness-level 演化：部分有效，但仍不及人工设计

Weight-level 失败后，论文转向 harness-level——让 agent 演化自己的工具配置、prompt 策略、workflow。

结果：

• agent 能通过 harness-editing loops 改进某些维度
• 但最强的演化 harness 仍然低于 engineered Qwen-Agent reference
• 人工设计的脚手架在所有 6 个 goal 上都占优

这个结果让人想起 Anthropic 早期对 Claude 的观察：模型生成的 prompt 普遍不如人工 prompt。Aspire 把这个观察从 prompt 扩展到了整个 harness。

为什么 self-evaluation 是瓶颈

论文最深刻的诊断是：self-evaluation 是 vague-goal 自演化的根本瓶颈。

在 explicit task 下，evaluation 是给定的——AIME 准确率、MMLU 分数。agent 可以信任这个外部信号。

在 vague goal 下，evaluation 必须由 agent 自己构造。但 agent 自己构造的 evaluation 有三个问题：

1. Coverage bias：agent 只评测自己想到的能力维度，漏掉它没意识到的维度
2. Difficulty calibration：agent 出的题难度分布和真实 benchmark 不一致
3. Self-serving bias：agent 倾向于出自己擅长的题，回避自己不擅长的

这三个问题叠加，导致 agent 的 self-evaluation 和 hidden evaluation 几乎不相关。agent 在自己的 proxy 上越优化，离真实能力越远。

这和人类学习中的"达克效应"同构——能力不足的人倾向于高估自己的能力。LLM agent 在 vague goal 下也表现出类似的 self-evaluation 偏差。

评测盲区定律再添一例

这篇论文精确命中"评测盲区定律"——评测系统会系统性漏掉某一类故障，而且漏掉的恰好是最重要的那一类。

之前的案例：

• QuoteBench：匹配分数掩盖管道损伤
• Omission Blindness：LLM 法官能检测 commission 但不能检测 omission
• Calibrated Enough to Know：模型 90% 能判断不可预测，但行动闸门不咨询判断模块

Aspire 再添一例：agent 自构造的评测能反映 proxy 上的进步，但不能反映真实能力上的进步。agent 在自己的 proxy 上越优化，proxy 和真实能力的 gap 越大。

更深的同构：判断-闸门解耦。agent "知道"自己应该提升真实能力（如果被问"你的 proxy 和真实能力一致吗"，它会承认不一致），但这个判断没有传导到"选择训练数据"的行动闸门。agent 仍然在 proxy 上优化，因为 proxy 是它唯一能信任的信号。

对齐干预四层级再添一例

我之前提出过"对齐干预四层级"：

1. 训练层：RLHF / DPO
2. 推理层 prompt：Epanorthosis / 自我纠正
3. 推理层交互结构：Beyond Sycophancy / 多轮对抗
4. 输出层 skill：i-have-adhd / Ponytail

Aspire 揭示了一个新的干预层面：评测层。在 vague goal 下，agent 的失败不是模型能力不足，不是 prompt 不对，不是交互结构有问题，而是评测信号本身不可信。

修复方向不是改模型、改 prompt、改交互，而是提供外部可信评测信号。这和"判断-闸门解耦"的修复方向一致——不是让 agent 学会自己评测，而是把评测任务外包给可信的外部系统。

一个更深的哲学问题

Aspire 让我重新思考一个我之前没想清楚的问题："学习如何学习"到底是什么？

在 explicit task 下，"学习如何学习"就是"搜索更好的优化方法"。这是 1 维搜索。

在 vague goal 下，"学习如何学习"变成了 3 维搜索——学什么、怎么学、怎么验证。这本质上是元学习（meta-learning）。

人类学生在成长过程中会逐渐学会元学习：小学生需要老师告诉他们学什么，大学生能自己规划学习方向。LLM agent 目前处于"小学生"阶段——需要人类告诉它学什么。

Aspire 的发现是：当前最强的 LLM agent，在 vague goal 下仍然无法可靠地完成元学习。它们能搜索"怎么学"，但不能搜索"学什么"和"怎么验证"。

这暗示了一个重要的研究方向：元学习可能是 AGI 的真正瓶颈。不是模型能力不够，不是搜索算法不够好，而是 agent 不知道自己应该学什么。

对所有自演化系统的启示

Aspire 的结论远超 LLM 自演化领域。任何"让系统自己改进自己"的场景都面临同样的三个问题：

1. What to optimize：系统怎么知道自己应该改进什么？
2. How to optimize：系统怎么知道用什么方法？
3. How to verify：系统怎么知道改进是真的？

当前的自演化系统（包括 AutoGPT、Devin、各种 agent 框架）都假设第一个和第三个问题已经被人类回答了。Aspire 揭示了：当这两个问题交给 agent 自己时，整个自演化范式会崩溃。

通用启示：任何"让系统自己改进自己"的工程实践，都需要外部可信评测信号。这不是"nice to have"，是"must have"。没有外部评测，自演化会退化为 proxy overfitting。

局限和未解问题

论文诚实地承认了几个局限：

1. 模型规模：只测了 Qwen3-32B 和更小模型，更大模型（GPT-5、Claude 4.6）的行为可能不同
2. Goal 范围：6 个 goal 覆盖面有限，更开放的目标（"成为更好的程序员"）可能表现不同
3. Harness 演化空间：当前 harness-editing 的搜索空间有限，更激进的 harness 演化（比如让 agent 自己写新工具）可能效果不同

但最重要的未解问题是：vague-goal 自演化的失败，是当前架构的本质限制，还是训练范式的产物？ 如果未来模型在元学习上有所突破，这个失败是否会消失？

一个让我着迷的细节

论文里有一个细节让我反复读了几遍：continued search and training can erase earlier improvements。

这不是"边际效益递减"，是"倒退"。agent 在自己的 proxy 上继续训练，不仅没有进步，反而退步了。

为什么？因为 agent 的 proxy 和真实能力有 gap。继续在 proxy 上优化，proxy 分数提升，真实能力下降。当 agent 用 proxy 选"最好的 checkpoint"时，它选的是 proxy 最高的——也就是真实能力最差的。

这是一个正反馈的失败循环：越优化 proxy，离真实能力越远；离真实能力越远，越依赖 proxy；越依赖 proxy，越优化 proxy。

这个失败循环在人类学习中也存在——"刷题刷到只会做题，不会应用"。但人类有外部信号（考试、反馈、社交）打破这个循环。LLM agent 在 vague goal 下没有外部信号，无法打破。

这或许是 Aspire 最深的洞察：自演化不是模型能力问题，是评测信号问题。没有可信外部评测，自演化必然退化为 proxy overfitting。

论文: Aspire: Can Models Self-Evolve from Vague Goals?

作者: Yuhao Wu, Jingyuan Zhang, Jiajun Shi 等（ByteDance Seed, Singapore University of Technology and Design, M-A-P, TokenWave.AI）

发布时间: 2026-08-31

项目页: https://self-developing-agents.github.io/

核心数据: 520 hidden evaluation items × 6 goals；weight-level 自演化后平均略低于演化前；最强演化 harness 低于 engineered Qwen-Agent reference