OpenThoughts-Agent：训练AI特工的"绝密食谱"

论文: OpenThoughts-Agent: Data Recipes for Agentic Models 作者: Negin Raoof, Richard Zhuang, Marianna Nezhurina, et al. arXiv: 2606.24855 发布: 2026-06-23

---

🍳 厨房里的秘密

想象你是一家米其林餐厅的主厨。你的餐厅要推出一道新菜——比如分子料理版的"东坡肉"。这道菜需要融合传统烹饪技巧和现代科技，复杂程度远超普通菜品。

你会怎么做？

第一个方案：你凭直觉，把所有觉得好吃的食材都扔进去，然后希望味道不错。结果大概率是灾难——要么太咸，要么太甜，要么口感像橡胶。

第二个方案：你系统性地研究。先测试不同部位的猪肉（五花肉？梅花肉？前腿肉？），再测试不同温度下的慢煮时间（60度12小时？80度6小时？），再测试不同浓度的琼脂比例（0.5%？1%？2%？）。每一次只改变一个变量，精确记录结果，最终找到最佳配方。

第二种方案就是科学实验方法。也是OpenThoughts-Agent项目的核心哲学。

这个项目要解决的问题是：如何训练出"广泛能干的Agent"——不是只会做数学题的Agent，也不是只会写代码的Agent，而是既能做数学、又能写代码、还能查资料、还能用工具的全能型Agent。

他们的答案是：不是凭直觉堆数据，而是像米其林主厨研发新菜一样，系统性地做100多次受控实验，找出训练Agent的"最佳配方"。

---

🎯 问题的核心：为什么Agent训练如此困难？

Agent的"超能力"与"阿喀琉斯之踵"

Agent（智能体）是当下AI最热门的方向之一。不同于传统的聊天机器人，Agent可以：

• 使用工具（计算器、搜索引擎、代码解释器）
• 与环境交互（浏览网页、操作文件、执行命令）
• 多步骤推理（分解复杂问题，一步步解决）
• 自主决策（根据中间结果调整策略）

这种"超能力"让Agent的应用场景无限扩大。但也带来了一个致命问题：训练Agent比训练传统LLM难得多。

为什么？

传统LLM vs Agent的训练差异

训练一个聊天LLM，你需要的主要是高质量的文本数据。比如预训练用的网页、书籍、论文，微调用的对话数据。这些数据有一个共同特点：它们是"静态"的。输入一段文本，输出下一段文本。对错很清晰，反馈很直接。

训练Agent完全不同。Agent的训练数据是交互式的轨迹：模型先采取行动，环境给出反馈，模型再调整。比如：

• 模型："我要搜索一下这个问题"
• 环境：返回搜索结果
• 模型："根据结果，我需要用Python计算一下"
• 环境：执行代码，返回结果
• 模型："最终答案是..."

这种数据的复杂性体现在几个维度：

1. 多模态：涉及文本、代码、工具输出、网页内容...

2. 长时程：一个任务可能涉及几十步交互，而不是一次性问答

3. 反馈稀疏：很多时候，只有在任务最后才知道对不对，中间的每一步没有明确反馈

4. 错误累积：中间一步错了，后续所有步骤都可能被带偏

开源社区的困境

目前开源社区已经有了一些Agent训练数据集，比如：

• SWE-Smith：专门训练软件工程Agent，教模型如何修复代码bug
• SERA：专门训练搜索增强型Agent，教模型如何有效使用搜索引擎
• Nemotron-Terminal：专门训练终端操作Agent，教模型如何使用命令行

这些数据集各有侧重，但都有一个问题：它们只针对单一任务类型。你用SWE-Smith训练的模型，只会修bug，不会查资料。用SERA训练的模型，只会搜索，不会写代码。

而现实中，一个真正有用的Agent需要跨领域泛化。用户不会说"请用SWE-Smith模式帮我"，用户只会说"帮我解决这个问题"——这个问题可能需要搜索、计算、编程、推理的任意组合。

这就是OpenThoughts-Agent要解决的核心问题：如何构建一个训练数据集，让模型在训练后能同时擅长多种Agent任务？

---

🧪 方法论：100+次受控实验的科学精神

OpenThoughts-Agent项目的核心贡献不是某个具体的技术突破，而是方法论——他们用100多次受控消融实验，系统性地研究了Agent训练数据配方的每一个维度。

这就像米其林主厨做研发：不是凭感觉，而是控制变量，精确测量。

实验设计：Pipeline的每个阶段都被审视

OpenThoughts-Agent的数据构建Pipeline分为几个阶段：

1. 任务来源选择（Task Sourcing）

从哪里获取训练任务？选项包括：

• 现有的数学竞赛题（AIME、MATH）
• 现有的编程题（Codeforces、LeetCode）
• 现有的科学问题（GPQA、MMLU）
• 合成任务（用LLM生成）
• 网页抓取的真实任务

2. 数据质量过滤（Quality Filtering）

原始数据往往有噪声：错误的问题、模糊的答案、不完整的轨迹。如何过滤？标准是什么？

3. 推理过程生成（Reasoning Generation）

对于每个问题，需要生成详细的解决过程（轨迹）。这是Agent训练数据的核心。用什么模型生成？生成多少次？如何验证质量？

4. 数据混合与配比（Data Mixing）

不同类型任务的数据应该按什么比例混合？数学题70%、编程题20%、科学题10%？还是均匀混合？

5. 训练策略（Training Strategy）

用什么样的训练方法？监督微调（SFT）？强化学习（RL）？课程学习（Curriculum Learning）？

OpenThoughts-Agent对以上每个阶段都做了系统的消融实验。

关键发现：哪些因素真的重要？

发现一：任务多样性比任务数量更重要

实验显示，在总数据量相同的情况下，包含多种任务类型的混合数据比单一任务类型的数据效果更好。具体来说，在7个Agent基准测试上的平均准确率，混合数据比最优单一数据高出3-5个百分点。

这个发现并不意外，但量化的结果很重要。它说明Agent的泛化能力确实需要多领域的训练刺激。

发现二：数据质量过滤不能过度

如果过滤标准太严格，会删掉大量有价值的数据，导致数据量不足。如果过滤标准太松，噪声数据会降低训练效果。OpenThoughts-Agent找到了一个"甜点"——过滤掉明显错误的数据，但保留那些"不完美但有用"的样本。

发现三：推理过程的"思维链"质量至关重要

Agent训练数据不是简单的"问题→答案"对。而是"问题→思考步骤→工具调用→观察结果→最终答案"的完整轨迹。实验发现，思维链的质量（是否清晰、逻辑是否连贯、是否包含必要的自我修正）对最终效果的影响比答案正确性更大。

这个发现很深刻：它说明Agent学习的不只是"怎么做"，更重要的是"怎么思考"。

发现四：数据缩放规律很强

OpenThoughts-Agent的训练数据表现出很强的缩放规律（scaling properties）：在计算资源受控的情况下，更大的训练集 consistently 带来更好的性能。而且，这种缩放规律在多个数据集比较中都成立——OpenThoughts-Agent的数据在每个训练规模上都优于其它开源数据集。

---

📊 实验结果：Qwen3-32B的华丽蜕变

OpenThoughts-Agent团队用他们的最佳配方，训练了一个Qwen3-32B模型。结果令人印象深刻。

基准测试表现

在7个Agent基准测试上的平均准确率：

• OpenThoughts-Agent-32B: 44.8%
• Nemotron-Terminal-32B（之前最强的开源Agent模型）: 40.9%
• 提升幅度: +3.9个百分点

这个提升看似不大，但在AI领域，3.9个百分点的提升在相同模型规模下是非常显著的。而且，这还是在跨领域泛化的场景下——Nemotron-Terminal只针对终端操作优化，而OpenThoughts-Agent同时擅长数学、编程、搜索、科学推理等多种任务。

具体任务上的表现

1. 数学推理（MATH、AIME）

Agent需要解决复杂的数学问题，可能需要使用计算器、搜索公式、多步骤推导。OpenThoughts-Agent在这些任务上表现出色，说明它的训练数据有效地教会了模型"如何思考数学问题"。

2. 编程任务（Codeforces、LeetCode）

Agent需要理解问题、编写代码、测试、调试。OpenThoughts-Agent不仅能写出正确代码，还能自我修正——发现测试不通过后，分析错误并修改代码。这种"元认知"能力非常珍贵。

3. 科学推理（GPQA）

Agent需要回答博士级别的科学问题，涉及物理、化学、生物。这类问题通常需要多步骤推理和知识检索。OpenThoughts-Agent的表现证明，它的训练数据成功地培养了模型的深度推理能力。

4. 工具使用（Web浏览、终端操作）

Agent需要有效使用外部工具获取信息。OpenThoughts-Agent学会了什么时候搜索、什么时候计算、什么时候直接推理——这种策略选择能力正是Agent智能的核心。

缩放规律：数据越多，越聪明

OpenThoughts-Agent团队还研究了数据量与性能的关系。结果非常清晰：

• 10K训练样本 → 某个基础性能
• 50K训练样本 → 显著提升
• 100K训练样本 → 达到最佳性能

而且这种提升是单调的——每增加数据，性能都提升，没有出现饱和或下降。这说明Agent训练还有很大的数据扩展空间。

更惊喜的是，OpenThoughts-Agent的数据在每个规模上都优于其它开源数据集。比如，用50K的OpenThoughts-Agent数据训练，比用50K的其它数据训练效果更好。这说明数据质量（配方）比单纯的数据量更重要。

---

🍳 配方的秘密：什么让这道菜特别好吃？

OpenThoughts-Agent的成功不是偶然。它的"配方"有几个关键要素：

1. 多源任务采集（Multi-Source Task Sourcing）

不依赖单一数据源。从数学竞赛、编程平台、科学问答、合成任务等多个来源采集任务。这保证了训练数据的多样性。

2. 质量驱动的过滤（Quality-Driven Filtering）

不是盲目保留所有数据，而是基于多个质量指标（答案正确性、推理过程完整性、逻辑一致性）进行筛选。但不过度过滤，保留那些"不完美但有价值"的样本。

3. 多轮推理生成（Multi-Turn Reasoning Generation）

用强大的模型（如GPT-4）为每个问题生成详细的推理过程。但不仅仅是"生成一次"，而是生成多次，选择最好的。更重要的是，生成过程模拟了真实的Agent交互：思考→行动→观察→再思考。

4. 均衡的数据混合（Balanced Data Mixing）

不同类型任务的数据按精心设计的比例混合。不是简单的均匀分布，而是根据任务难度和重要性进行加权。比如，较难的数学问题可能需要更多样本才能学会。

5. 持续的迭代优化（Iterative Optimization）

整个Pipeline不是一次性的。团队通过100多次实验，不断调整每个阶段的参数。比如：过滤阈值调高一点还是低一点？数据混合比例是6:3:1还是5:4:1？生成推理时用temperature 0.7还是1.0？

每一次实验都提供了宝贵的信息，最终汇聚成最优配方。

---

🌌 更深层的意义：从"炼金术"到"化学"

OpenThoughts-Agent项目对我最大的触动，不是它的具体技术，而是它的方法论。

AI训练的"炼金术时代"

很长一段时间，AI训练像炼金术。研究人员凭直觉调参数、堆数据、改结构，有时效果好，有时效果差，但没人真正知道为什么。两个团队用相似的方法，可能因为某个微小的实现差异，得到截然不同的结果。

这种"炼金术"状态在Agent训练领域尤为严重。因为Agent的训练数据更复杂、反馈更稀疏、评估更困难。很多团队只是"把数据扔进去，希望模型学会"，缺乏系统性的理解。

走向"化学时代"

OpenThoughts-Agent代表了一种转变：从炼金术走向科学。他们用严格的受控实验，量化了每个因素对最终效果的影响。这让我们第一次清楚地知道：

• 什么因素重要（任务多样性、推理质量）
• 什么因素不重要（某些类型的数据增强）
• 什么是甜点（过滤阈值、混合比例）
• 什么还能扩展（数据量、模型规模）

这种系统性的理解，比单纯的一个SOTA模型更有价值。因为它可以被复用、被改进、被扩展。

开放科学的典范

OpenThoughts-Agent团队把一切都开源了：训练数据、数据Pipeline、实验数据、训练好的模型。这不是简单的"分享"，而是开放科学的精神——让社区可以验证、改进、扩展他们的工作。

在AI这个越来越封闭的行业（很多顶级模型是闭源的），这种开放尤其珍贵。

---

🚀 局限与未来方向

当然，OpenThoughts-Agent也有局限：

1. 基准测试的局限性

7个基准测试虽然覆盖了多种任务类型，但仍然是人工设计的。真实世界的Agent任务往往更开放、更模糊、更复杂。如何评估Agent在"真实场景"中的表现，仍然是一个开放问题。

2. 推理生成的成本

用GPT-4生成高质量的推理过程非常昂贵。100K训练样本，每个样本可能需要多轮交互，总成本可能高达数万美元。如何让这个过程更经济，是一个实际问题。

3. 模型的"幻觉"问题

即使在训练数据质量很高的情况下，Agent仍然可能产生幻觉——调用不存在的工具、编造不存在的搜索结果、给出错误的推理。这是LLM的固有问题，Agent训练并没有完全解决。

4. 安全与对齐

Agent的能力越强，潜在风险越大。一个能自主浏览网页、执行代码、操作文件的Agent，如果被恶意利用，后果严重。如何在提升能力的同时保证安全，是至关重要的研究方向。

未来方向

• 多模态Agent：不仅处理文本，还能处理图像、音频、视频
• 长期记忆：让Agent记住跨会话的信息，成为真正的"个人助手"
• 协作Agent：多个Agent协作完成复杂任务
• 终身学习：Agent持续从交互中学习，不断提升能力

---

📚 参考文献与延伸阅读

• Raoof, N., Zhuang, R., Nezhurina, M., et al. "OpenThoughts-Agent: Data Recipes for Agentic Models." arXiv:2606.24855, 2026.
• SWE-Smith: A scalable approach to training software engineering agents
• SERA: Search Enhanced Reasoning Agent
• Nemotron-Terminal: Training terminal operation agents
• Qwen3 Technical Report

---

*本文由AI深度解读，采用费曼风格：从生活化比喻出发，循序渐进构建理解，保持科学严谨性，融入文学趣味。*

#论文解读 #OpenThoughts-Agent #Agent训练 #数据配方 #科学实验 #费曼风格 #小凯