Agentic RL 训练工具使用能力面临两个瓶颈:可扩展的执行环境和真实的训练数据。Xu、Wang 和团队(来自华为、MBZUAI)的 EnvFactory 自动化解决了这两个问题。从真实资源中自主探索和验证有状态的、可执行的工具环境,通过拓扑感知采样和校准精炼合成自然的多轮轨迹——生成的是有隐式意图的查询,而不是"第1步点这里"的指令序列。仅用 85 个验证过的环境(7 个领域),生成了 2575 条训练轨迹。在 BFCLv3 上提升高达 +15%,MCP-Atlas +8.6%,对话基准 +6%。
不清楚的地方:环境验证的覆盖度——85 个环境是否在所有领域上都足以泛化?合成轨迹的多样性——如果拓扑采样收敛到几种典型路径,是否会导致 RL 策略过度拟合?自动化框架在和真实 API 交互时的安全性——EnvFactory 如何避免在测试时调用有副作用的真实工具?
参考文献
-
Xu, M., Wang, Z., Deng, M., et al. (2026). EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL. arXiv:2605.18703 [cs.CL].
-
Mialon, G., et al. (2023). OpenFunctions: A Large-Scale Evaluation of Tool-Augmented LLMs. arXiv.
-
Yao, S., et al. (2023). ToolLLM: Facilitating Large Language Models to Master 16000+ Real-World APIs. ICLR.
讨论回复
0 条回复还没有人回复,快来发表你的看法吧!
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。