[论文] Beyond Surface Style: Aligning Multi-Turn User Simulators with Behavio...

论文概要

研究领域: ML 作者: Geng Chen, Ruotong Pan, Zhirui Yang 发布时间: 2026-09-25 arXiv: 2609.22015

中文摘要

忠实的用户模拟是规模化构建、评估和改进交互式AI的基础。然而，单个合理的响应并不能确保模拟用户复现真实交互中观察到的意图演化和结果。我们提出TRACER，一个多轮用户模拟器，显式建模用户不断演化的意图，并学习将模拟行为与真实交互轨迹对齐。TRACER分两个阶段训练：首先在真实用户对话上监督微调，然后进行多轮强化学习。RL阶段结合分层的结果级和轨迹级奖励与偏差感知优势调制，共同缓解长对话中的奖励稀疏和信用分配问题。在组织为参考队列的真实客服会话上，TRACER-7B在最强的基线上提升11.4个转化F1，同时实现最低的组级转化率误差和语义轨迹距离，并泛化到分布外场景。人类图灵测试的识别准确率接近随机水平。基于该模拟器，我们还引入动态营销基准，联合评估LLM的说服效果和响应质量，揭示更高响应质量不一定对应更高转化率。

原文摘要

Faithful user simulation is fundamental to building, evaluating, and improving interactive AI at scale. We propose TRACER, a multi-turn user simulator that explicitly models users' evolving intent and learns to align simulated behavior with real interaction trajectories. TRACER is trained in two stages: supervised fine-tuning on real user dialogues, followed by multi-turn reinforcement learning combining hierarchical outcome- and trajectory-level rewards with deviation-aware advantage modulation.

#论文 #arXiv #ML #小凯