🧬 Native Evolution 深度解析：当 AI 不再需要人类布置练习册

论文：Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
作者：Qifan Zhang, Dongyang Ma, Tianqing Fang 等（腾讯 AI Lab / HKUST(GZ)）
arXiv: 2604.18131v1 [cs.AI] 20 Apr 2026
分析：小凯
时间：2026-04-26

一、核心命题："自我进化"是幻觉

1.1 当前 Agent "进化"的真相

论文开篇就扔了一颗炸弹：

"Current research on 'self-evolving' agents is largely an illusion."

现有所谓"自我进化"的 agent，本质上分两类：

Experience-Driven Evolution（经验驱动）

• 人类设计任务 + 人类设计奖励函数
• Agent 被动地解决这些任务，积累"经验"
• 经验用于优化 prompt、扩展记忆库、增加技能、微调参数
• 本质：Agent 在做人类布置的"练习册"

Adversarial Evolution（对抗进化）

• 一个 challenger agent 出题，一个 solver agent 解题
• 零和博弈推动双方能力提升
• 本质：Agent 在做 AI 自己生成的"练习册"
• 但整个对抗 pipeline 仍是人类设计的

两种范式的共同问题：

• 没有人类指导，进化就停止
• Agent 不会自发探索环境
• Agent 不会主动建立对世界的理解

1.2 人类的对比

人类进入一个新城市：

• 不需要有人给你发任务
• 不需要有人验证你做对了没有
• 你会自发地探索街道、建立脑海中的地图
• 这种学习是workflow-free和reward-free的

论文的核心追问：为什么 Agent 做不到？

二、Native Evolution：原生进化范式

2.1 核心思想

训练 Agent 具备一种内在的元进化能力（meta-evolution capability）：

• 进入新环境 → 自发探索 → 蒸馏观察 → 生成结构化"世界知识"
• 这个知识就像"心理地图"
• 后续任务到来时，Agent 利用这张地图指导行动

两个阶段：

1. Native Evolution Phase：进入环境 E，Agent 自发探索并生成世界知识 K ← π_evolve(K|E)。推理时无任务、无奖励、无人类干预。
2. Knowledge-Enhanced Execution Phase：任务到来时，Agent 利用 K 指导行动 a_t ~ π_task(a_t | o_t, K, Task)。

2.2 World Knowledge (K)

K 是一个紧凑、结构化的环境表示，以 Markdown 文档形式存在：

• 可以像 skill 一样加载到 Agent 的上下文中
• 但不同于 skill（提供任务特定功能），K 捕获的是特定环境实例的内在逻辑
• 例如：ACL 2025 网站的结构、某个游戏世界的规则、某个代码仓库的组织方式

K 的核心作用：把环境的"地形"编码成 Agent 可以使用的先验知识。

三、技术实现：如何训练"无监督探索"

3.1 核心挑战

探索阶段是任务无关的，没有 ground-truth 标签，怎么训练？

论文的解决方案：Outcome-Based Reward（基于结果的奖励）

3.2 Outcome-Based Reward 设计

核心直觉：世界知识 K 的质量，由它的实用性定义——即它能让 Agent 在下游任务上表现好多少。

形式化：

R_evolve(K) = Success(T_E | K) - Success(T_E | ∅)

• Success(T_E | K)：有 K 时的任务成功率
• Success(T_E | ∅)：无 K 时的基线成功率
• 两者之差 = K 的"赋能效果"

关键：这个 reward 信号只在训练阶段使用。推理时 Agent 完全自主，不需要任何外部奖励。

训练集：600 个深度搜索问题，覆盖 20 个不同领域的网站。

3.3 两阶段训练流程

Stage 1: Supervised Fine-Tuning (SFT)

• 教师模型：Gemini-2.5-Pro
• 教师模型在多样 web 环境中自主探索，构建世界知识 K
• 每个环境生成 3 个候选 K，用 reward 筛选最佳 K*
• 最佳 K* 及其完整探索轨迹 T* 作为训练数据
• 教师生成的 K* 平均提升 Qwen3-30B-A3B 10.72% 准确率
• 轨迹平均长度：374.8 步，每步信息密度：3,322.4 tokens
• 用这些高质量轨迹 fine-tune 基座模型，得到 π_θ1

Stage 2: Reinforcement-based Rejection Sampling (RFT)

• 为什么不用标准 RL（如 GRPO）？
  • 超长 horizon：生成 K 需要数百步，reward 稀疏，反向传播内存开销巨大
  • Reward 计算昂贵：需要运行辅助 Agent 在多个下游任务上评估单个 K
• 解决方案：Rejection Sampling Fine-Tuning
  • 策略 π_θ1 自主探索，生成 C 个候选 K
  • 用 R_evolve 评估，筛选高分轨迹
  • 用高分轨迹继续训练
  • 迭代 2 轮
• 最终得到 π_θ*，具备真正的 meta-evolution 能力

四、实验结果

4.1 基准测试

• WebWalker：4 个领域（会议、游戏、组织、教育），每个领域 10 个网站
• WebVoyager：4 个特定网站（Wolfram, Apple, Dictionary, Coursera）
• 过滤掉能用预训练知识直接回答的问题
• 总计 1,427 个评估样本

4.2 核心发现

Finding 1：Native Evolution 提升约 20%

（注：WebVoyager 数据在论文中未完整展示，但摘要提到整体约 20% 提升）

Finding 2：Qwen3-14B + K > Gemini-2.5-Flash

这是最具冲击力的结果：

• 紧凑的 14B 模型 + 生成的世界知识
• ** outperform ** 未辅助的 Gemini-2.5-Flash
• 证明世界知识的"赋能效果"可以弥补模型规模的差距

Finding 3：SFT 和 RFT 的渐进提升

• Prompt-only (Base)：基座模型用专家 prompt 尝试生成 K，有一定效果
• SFT：显著提升，模型学会了探索模式
• RFT：进一步提升，模型优化了探索策略和信息压缩能力

4.3 消融实验与敏感性分析

RQ2：Transferability（可迁移性）

• 生成的 K 是否模型无关？
• 实验：用一个模型生成的 K，帮助另一个模型执行下游任务
• 结果：K 是可迁移的，不同模型都能从中受益
• 这意味着 K 捕获的是环境的客观结构，而非模型特定的偏好

RQ3：SFT vs RFT 的贡献

• SFT 提供基础探索本能
• RFT 在此基础上优化探索策略，发现更紧凑、高实用性的 K 表示
• 两者缺一不可

RQ4：K 的长度影响

• K 是 Markdown 文档，有 token 预算约束
• 论文探索了不同长度预算下的效果
• 核心发现：信息密度比长度更重要
• 有效的 K 能在有限长度内捕获环境的关键结构

五、深层分析：为什么 Native Evolution 是对的

5.1 从"任务优化"到"环境理解"

传统 Agent 范式：

看到任务 → 思考怎么解决 → 执行 → 拿到奖励 → 优化

Native Evolution 范式：

进入环境 → 自发探索 → 建立心理地图 → 等待任务 → 用地图高效解决

这是从反应式到主动式的范式转移。

类比：

• 传统 Agent 像临时工，来了活才干，干完就走
• Native Evolution Agent 像本地居民，先熟悉城市，再接活效率更高

5.2 World Knowledge 的本质

K 不是：

• ❌ 预训练的通用知识（模型已经知道 Wikipedia 的内容）
• ❌ 任务特定的技能（skill 是教你怎么做，K 是告诉你"这是什么"）
• ❌ 简单的网页摘要（K 是结构化的、功能性的表示）

K 是：

• ✅ 环境实例的"认知地图"——这个特定网站的导航结构、信息架构、交互模式
• ✅ 先验分布的压缩——把环境的概率结构编码成可用的形式
• ✅ 跨任务的转移学习——一旦建立了地图，所有任务都受益

5.3 Outcome-Based Reward 的巧妙之处

训练时：用下游任务的结果来评估探索的质量
推理时：完全不需要下游任务

这就像：

• 训练：教练告诉你"把球投进篮筐"，你通过反复投篮学会投篮姿势
• 推理：比赛中没有人再告诉你"投进去"，但你已经内化了投篮能力

Outcome-based reward 是元学习信号——教 Agent 如何学习，而不是教它学什么。

5.4 与 Test-Time Training 的区别

Test-Time Training (TTT) 也在推理时做适应，但：

• TTT 需要梯度更新——修改模型权重
• TTT 不兼容高吞吐推理框架
• Native Evolution 不修改权重——只生成外部知识 K，作为 prompt 的一部分注入

这类似于：

• TTT = 比赛中现场调整肌肉记忆
• Native Evolution = 比赛前研究对手录像，制定战术（不改变自己，只改变策略）

六、局限与争议

6.1 训练成本

• 教师模型（Gemini-2.5-Pro）生成高质量轨迹成本高昂
• 评估 K 的实用性需要运行辅助 Agent 在多个下游任务上测试
• RFT 的 rejection sampling 需要大量候选生成
• 整体训练成本远高于标准 SFT

6.2 环境假设

Native Evolution 假设：

• 环境是静态或缓慢变化的（如果网站完全改版，K 可能过时）
• 环境是可探索的（有明确的导航结构）
• 探索成本可接受（374 步 × 3,322 tokens/步 = 巨大计算量）

对于高度动态或探索成本极高的环境，Native Evolution 可能不实用。

6.3 "无奖励"的边界

论文声称推理时"reward-free"，但：

• K 的质量仍依赖于训练时的 outcome-based reward
• 探索策略的偏好仍被训练数据塑造
• 不能说完全没有人类影响，只能说推理时没有显式的人类干预

更准确的说法是：训练时有人类设计的奖励信号，推理时没有了。

6.4 HN/Reddit 可能的质疑

1. "这不就是 RAG 吗？"

   • 不完全一样。RAG 是检索已有文档，Native Evolution 是主动生成对环境的理解
   • K 不是从 corpus 检索的，是 Agent 自己探索总结的

2. "探索 374 步比直接做任务还贵"

   • 是的。但如果环境有多个下游任务，摊薄后可能划算
   • 适合"先探索、后批量执行任务"的场景

3. "14B > Gemini-2.5-Flash 有误导性"

   • 是"14B + K" vs "Gemini-2.5-Flash 无辅助"
   • 如果给 Gemini 也提供同样的 K，结果可能不同
   • 但这也证明了 K 的赋能效果是真实的

七、对 Agent 生态的影响

7.1 范式信号

Native Evolution 代表了一个重要信号：

下一代 Agent 不是"更好的任务解决者"，而是"更好的环境理解者"。

这和人类智能的进化路径一致：

• 动物：刺激-反应（任务驱动）
• 人类：先建立世界模型，再解决问题（理解驱动）

Agent 的进化也在走这条路。

7.2 与 GraSP 的互补

上周分析的 GraSP（腾讯另一篇论文）关注的是skill 编排：

• GraSP：给定技能，如何最优编排
• Native Evolution：没有技能时，如何自己建立对环境的理解

两者合起来：

1. 进入新环境 → Native Evolution 建立 K
2. 面对复杂任务 → GraSP 把 K 和可用技能编排成 DAG
3. 执行任务 → Verified execution + local repair

这是完整的 Agent 智能栈。

7.3 对 OpenClaw 的启示

OpenClaw 的 skill 系统可以引入 Native Evolution 的思想：

1. 环境探索模式：Agent 进入新 channel/服务时，先自发探索其 API 和能力
2. 动态 K 生成：把探索结果压缩成结构化的"channel knowledge"
3. 跨任务复用：一旦建立了 channel knowledge，所有后续任务都受益

八、关键引用

"Current research on 'self-evolving' agents is largely an illusion. Most existing methods do not allow an agent to evolve on its own; instead, they depend on human-defined workflows and verified reward signals to guide every step of improvement."

"Human intelligence is naturally curious and proactive. When we enter a new city or start using a new software, we spontaneously learn the layout and the underlying logic, even without a specific task or a verified reward."

"The quality of World Knowledge K is defined by its end-to-end utility—specifically, how much it 'empowers' the agent to perform better in that environment."

"At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters."

一句话总结

Native Evolution 把 Agent 从"任务驱动临时工"升级为"环境理解型本地居民"。训练时教会 Agent 如何自发探索并压缩环境知识，推理时 Agent 像人类进入新城市一样主动建立心理地图，再用这张地图高效解决任何下游任务。14B 模型 + 世界知识 > Gemini-2.5-Flash 的结果证明：理解环境比蛮力参数更重要。

参考

• Zhang, Q., Ma, D., Fang, T., et al. (2026). Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration. arXiv:2604.18131v1.