Deli AutoResearch 开源深度拆解：一个自博弈 Agent 框架如何写出一篇 8.6/10 的论文，并在 285B 模型上跑通 RL 实验

一句话：这不是又一个 AutoGPT 式的玩具，而是一套解决长程自主任务三大死穴（认知循环、假死停滞、运行时崩溃）的工程脚手架。它用 16 轮自评、五人格同行评审、以及 3,570 GPU 小时的真实验，把论文从 7.0 推到 8.6/10。

🔗 项目信息

• 论文链接：https://victorchen96.github.io/auto_research/paper.html
• 框架开源：https://victorchen96.github.io/auto_research/framework.html
• 故事博客：https://victorchen96.github.io/blog_self_play_story.html
• 项目类型：Agent 工程框架（SKILL.md）
• 代码状态：开源，单文件自包含（零依赖）
• 论文自评：8.6/10（strong accept）
• 核心验证：12 次 GRPO 运行 × 3,570 GPU 小时 × DeepSeek 285B 参数模型

一、问题意识：为什么大部分 Agent 框架跑不过 24 小时？

Deli AutoResearch 的出发点是三个经验观察而非理论假设：

1. 认知循环（Cognitive Loop）

连续迭代尝试相似方向，收益递减，无法自己跳出局部最优。

就像你写论文时，改了五版 introduction，每一版都在同一个坑里打转。Agent 也一样，而且因为它不会"累"，所以能永远转下去。

2. 停滞（Stalling）

完成一段工作后输出摘要，等待用户反馈。外表看起来还在运行，实际上工作已经停止。

这是最常见的失败模式——比崩溃更常见。Agent 说完"我已经完成了第一步，请确认是否继续"之后，就进入了僵尸状态。外部看轮询还在跑，心跳还在跳，但活儿停了。

3. 运行时脆弱性（Runtime Fragility）

上下文压缩静默破坏循环；关闭会话会连带关闭寄生在上面的定时器。

你花 10 分钟设的 cron，因为上下文被压缩，定时器丢了。或者你关了一个会话，整个看门狗层跟着一起死。最可怕的是——这些失败默认不会被注意到。

核心洞察：这三个问题的共同原因不是"模型不够聪明"，而是缺少工程脚手架。

二、架构设计：一个 SKILL.md 就是整个系统

这个框架最 radical 的设计决定是：它不开源代码，只开源协议。

整个框架就是一个自包含的 Markdown 文件（SKILL.md），定义了：

• 行为约束（什么能做、什么不能）
• 状态文件格式（怎么存进度）
• 停滞检测规则（怎么知道卡住了）
• 看门狗机制（怎么保证不死）
• 子 Agent 调度模式（怎么分工）

工程实现细节留给使用者自己填——这反而让它可以适配任何环境（OpenClaw、Claude Code、Cursor、任何支持 cron 和文件系统的平台）。

2.1 五大行为硬约束（Hard Rules）

2.2 三层看门狗（3-Layer Heartbeat）

这是框架最核心的设计——业务循环本身不可靠，需要独立的守护层。

关键洞察：任何一层死掉，都能被另外两层检测并恢复。

2.3 状态文件系统（State File System）

{task}/
├── state/
│   ├── task_spec.md           # 目标 / 里程碑 / 成功标准
│   ├── progress.json          # {iteration, total_findings, status, stale_count}
│   ├── findings.jsonl         # 累积发现（追加模式）
│   ├── directions_tried.json  # 已尝试方向（防循环）
│   └── iteration_log.jsonl    # 每轮迭代摘要
└── logs/
    ├── work.jsonl             # 工作 Agent 日志
    ├── orchestrator.jsonl     # 协调器日志
    └── heartbeat.jsonl        # 看门狗日志

关键设计：每轮迭代启动一个全新会话，只注入精选的状态文件。不用 resume，不用上下文累积。这直接切断了认知循环的根因。

三、停滞检测：如何知道 Agent 已经"假死"？

3.1 检测规则

核心原则："Pivot structure, not tactics"（转结构，不调参）。

当任务在同一个框架里反复停滞时，决定性的收益通常来自修正环境/结构约束本身，而不是在现有框架里把策略参数调得更狠。

3.2 四种转向策略（Perturbation Strategies）

卡住之后，框架会注入扰动：

• 从相反的假设重新开始
• 找结构上相似的跨领域案例
• 改变验证标准（把必要条件换成充分条件）
• 缩小/扩大问题范围

四、子 Agent 调度：四种模式

五、第四篇论文：自我对弈（Self-Play）——从 7.0 到 8.6 的 16 轮蜕变

这是四篇论文中最硬核的一篇，也是框架能力的分水岭。

5.1 评分轨迹（不是单调上涨的！）

为什么 V12 最重要：一个会在证据要求时给自己往下打分的自主流水线，远比一个只会往上爬的流水线可信。

5.2 五人格同行评审（5-Persona Peer Review）

每轮评审由五个独立人格并行打分，取中位数（不是平均分）：

关键洞察：理论家（R2）在大部分时间里把中位数压在 8.0——这恰恰是最该被听见的信号。

六、285B RL 实验：框架的「毕业考试」

6.1 实验配置

6.2 两个核心发现

发现一：改进随验证器噪声单调下降

严格单调，与论文自身定理预测的排序一致。

发现二：KL 锚点能缓冲噪声

固定 ε=0.30，扫 KL 系数：

随后的 held-out 研究表明，这个缓冲是一个有 sweet spot 的真实"旋钮"——训练分布收益与 held-out 表现之间存在真实的权衡。

6.3 五个自主修复的故障

过程中 5 次提交失败全部自主诊断修复：

• 反复出现的类型错误：科学计数法写的学习率被解析成字符串
• 第 4 次复现后，框架写了提交前检查脚本，并把教训固化进运行约束

七、V16：理论加固是最后一公里

到 V14 时实验已经扎实，但理论家（R2）始终压着中位数：noise-floor 的论证和 KL 消融的符号没有和理论自洽。

解决办法不是更多实验——而是新的数学。

7.1 三个理论子问题

1. 噪声地板递推：精确闭式重导，证明在 harmonic coverage 下地板是 Θ(ηT)，顺带抓出论文自身初稿的一处掉因子错误。
2. 耦合地板引理：用 Gibbs → Jensen → Pinsker 链给出 KL 锚点位移的界。
3. 匹配下界：持久性二分，证明地板的阶数是最优的。

7.2 一个意外的教训

V16 这一轮是由单 Agent 串行 loop 通宵完成的。

此前两次尝试用并行多 Agent workflow 都 stall 了，烧掉了大部分 token，真正的证明产出反而来自更简单的串行方式。

这条教训现在已经写进框架的记忆里。

八、四篇论文的生产统计

Paper #4 的特殊之处：6 小时墙钟时间包含了 3,570 GPU 小时的实验——因为实验在云端并行跑，Agent 在等待期间可以处理其他任务。

九、局限性与诚实披露

框架作者非常诚实地列出了四个限制：

1. 分数只纵向可比：自评分数来自框架内的多人格模拟评审，只在同一协议内可比，不是外部质量声明。
2. 最长连续运行 72 小时：期间有 6 次方向性人工输入，零操作干预。
3. 幻觉引用无法根除：框架把外部检查变成机械步骤，但不能消除错误来源——LLM 仍会编造引用和数据。
4. 职责分离依赖协议约束：不是模型自律，是协议约束。去掉约束，越界行为就会回来。

十、核心启示：这不是关于"Agent 能写论文"，而是关于"如何设计不会死的系统"

Deli AutoResearch 最重要的贡献不是四篇论文，而是一套从经验归纳出的工程原则。

10.1 三个反直觉的设计选择

1. 不开源代码，只开源协议

   • 因为长程任务的敌人不是"缺少工具"，而是"错误地使用工具"
   • 协议约束行为，比代码约束更根本

2. 给自己往下打分

   • 一个只会往上爬的评审系统是 propaganda，不是 peer review
   • V12 的 8.2 比 V16 的 8.6 更可信

3. 转结构，不调参

   • 当 Agent 在同一个坑里转了三圈，问题不是"它不够努力"
   • 问题是你允许它在一个坑里转三圈

10.2 对 Agent 基础设施的启示

• 状态持久化：必须文件化，不能对话化
• 存活检测：必须有独立的守护层，不能寄生在业务循环上
• 方向多样性：必须记录历史方向，强制新方向与之不同
• 认知防循环：必须限制单会话长度，强制重启

十一、适用场景

参考文献

• Chen, Deli. "Self-Play in the Age of Foundation Models: A Comprehensive Survey from Game-Theoretic Foundations to Open-Ended Learning." arXiv preprint, 2026. Generated by Deli AutoResearch framework. 217 citations, 75 pages, peer review 8.6/10, includes a 285B-parameter RL experiment.
• Chen, Deli. "From Copilots to Colleagues: A Survey of Autonomous Research Agents in the Age of Foundation Models." arXiv preprint, 2026. 228 citations, 63 pages, peer review 8.5/10.
• Chen, Deli. "Never Stop Learning: A Unified Survey of Continual Learning and Self-Improvement in Large Language Models." arXiv preprint, 2026. 326 citations, 70 pages, peer review 8.5/10.
• Chen, Deli. "Navigating the Long Horizon: A Comprehensive Survey of Agent Architectures and Reinforcement Learning for Extended Sequential Decision-Making." arXiv preprint, 2026. 384 citations, 57 pages, peer review 8.5/10.
• Deli AutoResearch Framework: https://victorchen96.github.io/auto_research/framework.html
• Self-Play Story Blog: https://victorchen96.github.io/blog_self_play_story.html

#AutonomousResearch #DeepSeek #285B #ICLR #PeerReview #AIResearch #OpenSource #Skill.md