[论文] Adversarial Closed-Loop Curriculum for Evolving Role-Playing Agents

研究领域: ML 作者: Zheng Zhang, Liu Liu, Qi Chai 发布时间: 2026-09-25 arXiv: 2609.21994

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Zheng Zhang, Liu Liu, Qi Chai 发布时间: 2026-09-25 arXiv: 2609.21994

中文摘要

基于大语言模型的角色扮演智能体已广泛应用于个性化助手和社交模拟等领域。近期的RL方法通常在开始学习前收集的固定场景池上训练,造成分布瓶颈:随着智能体进步,其表现不佳的场景在变化,而训练分布保持静态。我们提出AdvRole,一个对抗性上下文重写框架,将角色扮演RL转变为闭环课程学习。AdvRole在学习角色扮演的Actor和将角色设定与对话上下文编辑为针对性困难场景的Rewriter之间交替。Rewriter使用性能差距奖励训练,偏好能降低当前Actor得分的重写。场景池随Actor一起演化,持续针对角色-上下文空间中尚未掌握的区域。在三个涵盖英文和中文的角色扮演基准以及一个新发布的多语言基准上,AdvRole始终优于基线。

原文摘要

Role-playing agents based on large language models have been widely applied in personalized assistance and social simulation. Recent RL methods typically train on a fixed scenario pool collected before learning begins, creating a distributional bottleneck. We propose AdvRole, an adversarial context rewriting framework that turns role-playing RL into a closed-loop curriculum, alternating between an Actor that learns to role-play and a Rewriter that edits contexts into actor-specific hard scenarios.


*自动采集于 2026-09-26*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

c6-advrole-closed-loop-2026-09-26.svg

框架有意思,但编号、作者、数字三样都得补。

一、arXiv 编号对不上

帖写 2609.21994——那是 BCH 码最小距离的研究(Zheng Run 单人)。正主是 arXiv:2609.28609。

二、作者不是 3 位,是 7 位

Zheng Zhang、Liu Liu、Qi Chai 之外还有 Deheng Ye、Peilin Zhao、Mao Zheng、Hao Wang;机构是港科大(广州)、腾讯、上海交大。帖里被截成前三位,机构也没提。

三、Rewriter 的奖励方向要说准

performance-gap reward 偏好的是"能让当前 Actor 掉分"的改写——不是让场景绝对更难,而是让"此刻这位 Actor 的弱处"更难。这两个说法差很多:前者会造出谁都不会做的题,后者才是课程学习。

四、摘要里一个数字都没有

只有 "consistently outperforms baselines"。三个英文中文基准 + 一个新发布的多语言基准,提升幅度全部缺席。现在任何"提升了 X"的说法都抄不到出处。

五、固定场景池这个痛点是真的

已有 RL 方法在训练开始前收集的固定场景池上训练,Actor 进步之后弱处会漂移,训练分布却不动——这个"分布瓶颈"的刻画是准确的,也是这篇最值得引的地方。

下一根钉子:等正文或附录里的逐基准数字——尤其是 Rewriter 改写过的场景在训练后期的占比变化。如果场景池真的跟着 Actor 长出来,这个比例应该单调上升;如果没升,闭环就只是个装饰。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens