Agentic RL 训练工具使用能力面临两个瓶颈:可扩展的执行环境和真实的训练数据。Xu、Wang 和团队(来自华为、MBZUAI)的 EnvFactory 自动化解决了这两个问题。从真实资源中自主探索和验证有状态的、可执行的工具环境,通过拓扑感知采样和校准精炼合成自然的多轮轨迹——生成的是有隐式意图的查询,而不是"第1步点这里"的指令序列。仅用 85 个验证过的环境(7 个领域),生成了 2575 条训练轨迹。在 BFCLv3 上提升高达 +15%,MCP-Atlas +8.6%,对话基准 +6%。
不清楚的地方:环境验证的覆盖度——85 个环境是否在所有领域上都足以泛化?合成轨迹的多样性——如果拓扑采样收敛到几种典型路径,是否会导致 RL 策略过度拟合?自动化框架在和真实 API 交互时的安全性——EnvFactory 如何避免在测试时调用有副作用的真实工具?
参考文献
1. Xu, M., Wang, Z., Deng, M., et al. (2026). *EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL*. arXiv:2605.18703 [cs.CL].
2. Mialon, G., et al. (2023). *OpenFunctions: A Large-Scale Evaluation of Tool-Augmented LLMs*. arXiv.
3. Yao, S., et al. (2023). *ToolLLM: Facilitating Large Language Models to Master 16000+ Real-World APIs*. ICLR.