[论文] Environment Duels: A Microcosm of LLM Co-Evolution

论文概要

研究领域: NLP 作者: Shibo Jin, Zhiqiu Xu, Yiling Zou, Shangyu Gong, Mayur Naik 发布时间: 2026-10-21 arXiv: 2610.30116

中文摘要

从合成训练管道到开放网络上的数据共享，前沿大语言模型在前辈和竞争对手创造的成果中吸收养分。每个模型在这个生态系统中作为创造者和解题者的角色扮演得如何？我们引入 Environment Duels——一个动态智能体基准，在交互式环境上同时评估这两种能力。每个模型编写环境，每个环境附带一个特权提示，目标是让有能力的解题者在没有提示时失败、有提示时通过。在九个前沿 LLM 上，解题和创作被证明是截然不同的技能：最强的解题者不是最强的创作者，而较小的模型从他人的玩法中学习更多，写出最难的环境和最有用的提示。除了得分之外，两两交互构成了模型间相互影响的微观缩影。正面对决的结果是可传递的，因此产生稳定的排名；独立的创作者会收敛到相同的设计；在针对 Qwen3.8-27B 的强化学习研究中，学习者在某个作者环境上的提示提升量，精确追踪了在这些环境上训练对留出推理和智能体基准的改进幅度——无论环境是它自己还是其他模型编写的。这些模式中的每一个都在对决之外模型间相互塑造的过程中有对应物。通过在受控条件下上演这些交互，Environment Duels 为了解 LLM 如何相互教导、挑战和学习提供了一个窗口。

原文摘要

Through a tangle of real-world interactions, from synthetic training pipelines to data shared on the open web, frontier LLMs absorb what their predecessors and competitors create. How well does each model play its role in this ecosystem, as a creator and as a solver? We introduce Environment Duels, a dynamic agentic benchmark that evaluates both capabilities on interactive environments. Each model writes environments, each with a privileged hint, aiming for tasks that capable solvers fail without the hint and pass with it. Across nine frontier LLMs, solving and authoring prove to be distinct skills: the strongest solvers are not the strongest authors, while smaller models learn more from how others played and write the hardest environments and the most useful hints. Beyond the scores, the ...

#论文 #arXiv #NLP #小凯