### 引言 想象你是一位探险家，手持一张简陋的地图，独自在未知的丛林中穿行。没有同伴指引，你依靠自己的智慧和有限的工具——一个指南针、一把刀和一本记录笔记的本子——逐步解开周遭的秘密。在人工智能（AI）领域，类似的情景正在上演：单代理大型语言模型（LLM）正被赋予自主推理和工具使用的能力，探索复杂问题的“丛林”。本文基于Xuan-Phi Nguyen等人合著的论文《SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents》（arXiv:2509.06283v2，2025年9月9日），介绍了一种创新方法，通过持续强化学习（RL）提升单代理的深度研究（Deep Research，DR）能力。 与传统多代理系统不同，单代理无需预定义角色或静态工作流程，而是根据上下文动态决策其下一步行动。我们的研究聚焦于使用最小的工具集（网络搜索、网页浏览和Python解释器）训练单代理，目标是让其在Humanity’s Last Exam基准测试中达到28.7%的表现。这一成果不仅展示了单代理的潜力，还为未来AI研究提供了新的视角。让我们踏上这场单代理推理的旅程！ --- ### 背景与相关工作 🧠 **深度研究代理的演变** 深度研究代理旨在回答复杂的事实性问题，通常依赖互联网访问和工具使用（如代码执行）。自Search-R1（[14, 19]）等早期系统问世以来，基于推理的LLM（如o3系统[30]）开始整合网页浏览和代码解释，处理从短问答到抽象报告撰写等多样化任务。现有系统大致分为单代理（如OpenAI的DeepResearch[30]）和多代理（如OpenManus[22]）两类。 单代理系统简单灵活，依赖单一LLM自主调用工具，无需中间指令，适用于未知任务。多代理系统则通过分工（例如规划者、编码者）提升效率，但受限于预定义工作流。我们的信念是，单代理因其通用性更具潜力，且可无缝整合进多代理系统，减少冗余复杂性。 --- ### SFR-DeepResearch方法 🔍 **单代理推理框架** 我们提出了SFR-DeepResearch（SFR-DR）框架，核心在于一个简洁的代理推理脚手架和定制的RL训练配方。以下是关键组成部分： 1. **代理推理脚手架** - **工具集**：我们提供三个基本工具： - `search_internet(query)`：返回前10个搜索结果（URL、标题、描述）。 - `browse_page(url, section_id)`：抓取网页内容并转为Markdown格式，移除超链接，限制代理通过搜索发现新URL。 - `code_interpreter(code)`：本地执行无状态Python代码，5分钟超时，无文件系统或敏感包访问。 - **记忆管理**：代理使用固定上下文长度的一部分作为记忆缓冲区，超限时调用清理工具选择关键信息。这确保了灵活的上下文窗口，类似于探险家整理笔记。 2. **RL训练配方** - **合成数据**：我们创建了复杂的搜索和推理任务数据集，挑战现有DR代理。 - **算法改进**：基于REINFORCE算法，引入时间优势归一化和轨迹过滤，稳定多轮优化过程。 实验在QwQ-32B、Qwen3-8B和gpt-oss-20B模型上验证，SFR-DR-20B在Humanity’s Last Exam上达到28.7%，优于同规模基线。 --- ### 实验结果与分析 🚀 **性能与洞察** 图1展示了SFR-DR的工具调用轨迹：代理从问题开始，通过多轮工具交互（搜索、浏览、编码）得出答案。在QwQ-32B和Qwen3模型上，我们将多轮对话重构为单轮上下文任务，保留“思考”标记，提升推理效率。 消融实验显示，记忆管理和长度归一化防止了工具调用退化。SFR-DR在FRAMES和GAIA基准上也表现出竞争力，证明其鲁棒性。 > **注解**：记忆管理通过动态清理非关键信息，模拟人类短期记忆的优化过程。这对长上下文任务尤为重要，可扩展至2-3句解释复杂推理步骤。 --- ### 讨论与未来方向 💡 **单代理的潜力与挑战** SFR-DR证明，单代理通过持续RL可显著提升自主推理能力，尤其在资源有限的情况下。然而，工具集的简陋性要求模型具备强推理能力，过度复杂工具可能削弱训练效果。 未来，我们计划： - 引入置信度评分优化工具选择。 - 扩展到多模态任务，整合图像和文本。 --- ### 参考文献 1. Agarwal, M. and Khanna, D. When persuasion overrides truth in multi-agent llm debates: Introducing a confidence-weighted persuasion override rate (cw-por), 2025. [https://arxiv.org/abs/2504.00374] 2. Amayuelas, A., et al. Multiagent collaboration attack: Investigating adversarial attacks in large language model collaborations via debate. arXiv:2406.14711, 2024. 3. Brown, T., et al. Language models are few-shot learners. Advances in Neural Information Processing Systems, 33:1877–1901, 2020. 4. Chan, C.-M., et al. Chateval: Towards better llm-based evaluators through multi-agent debate. arXiv:2308.07201, 2023. 5. Cobbe, K., et al. Training verifiers to solve math word problems, 2021. [https://arxiv.org/abs/2110.14168] 6. Du, Y., et al. Improving factuality and reasoning in language models through multiagent debate, 2023. [https://arxiv.org/abs/2305.14325] 7. Estornell, A. and Liu, Y. Multi-llm debate: Framework, principals, and interventions. Advances in Neural Information Processing Systems, 37:28938–28964, 2024. 8. Hendrycks, D., et al. Measuring massive multitask language understanding, 2021. [https://arxiv.org/abs/2009.03300] 9. Irving, G., et al. Ai safety via debate, 2018. [https://arxiv.org/abs/1805.00899] 10. Jiang, A. Q., et al. Mistral 7b, 2023. [https://arxiv.org/abs/2310.06825] 11. Kahn, A., et al. Debating with more persuasive llms leads to more truthful answers, 2024. [https://arxiv.org/abs/2402.06782] 12. Liang, T., et al. Encouraging divergent thinking in large language models through multi-agent debate. arXiv:2305.19118, 2023. 13. Madaan, A., et al. Self-refine: Iterative refinement with self-feedback. Advances in Neural Information Processing Systems, 36:46534–46594, 2023. 14. Sharma, M., et al. Towards understanding sycophancy in language models, 2023. [https://arxiv.org/abs/2310.13548] 15. Subramaniam, V., et al. Multiagent finetuning: Self improvement with diverse reasoning chains. arXiv:2501.05707, 2025. 16. Talmor, A., et al. Commonsenseqa: A question answering challenge targeting commonsense knowledge, 2019. [https://arxiv.org/abs/1811.00937] 17. Wang, X., et al. Self-consistency improves chain of thought reasoning in language models, 2022. [https://arxiv.org/abs/2203.11171] --- ### 总结 单代理如同一名孤独的探险家，凭借智慧和简单工具征服复杂问题。SFR-DeepResearch通过创新的RL框架，赋予单代理自主推理的能力，展现了28.7%的基准性能。这一成果挑战了多代理系统的复杂性，开启了单代理研究的崭新篇章。未来，优化工具和扩展任务类型将进一步释放其潜力。