假用户比真用户更难造：UserLM-2.0用RL训练出又像人又靠谱的用户模拟器

一个尴尬的测试困境

你做了一个 AI 助手，想测它能不能在 50 轮对话里始终帮上忙。你雇了 100 个真人测试员，每人聊 50 轮——结果发现：测试员自己会跑题、会忘记任务、会重复问同一个问题，最后你根本分不清是助手不行还是测试员不行。

这个困境不是假设的。当前评估多轮 AI 助手的主流方法就是用 GPT-4 或 Claude 来扮演用户，但这些"假用户"有两个通病：要么太像人（会跑题、忘任务），要么太像机器人（每句话都在推进任务，自然度极低）。

Mustafa Omer Gul、Philippe Laban、Tanya Goyal 在论文《Towards User Simulators That Stay On Task And Still Sound Natural》（arXiv: 2610.31512）里提出了一个解法：用强化学习训练一个专门的用户模拟器，让它在"任务忠诚度"和"自然度"之间找到平衡点。

这个模拟器叫 UserLM-2.0，它的核心洞察是：自然不等于随机，跑题不等于像人。

两阶段的训练哲学

UserLM-2.0 的训练分两步：

第一步：监督微调（SFT）。 用真实的人机对话数据训练一个基础模型，让它学会"人在和 AI 聊天时大概长什么样"。基础模型是 Qwen3-14B，数据来自真实用户和 AI 助手的多轮对话，每轮对话都标注了用户意图（goal）。

第二步：强化学习（RL）。 这是关键创新。RL 的奖励函数有两个分量：

• 任务忠诚度奖励：模拟器在 50 轮对话里覆盖了多少个预设的子任务（goal coverage）。比如用户的目标是"订一张明天去东京的机票"，子任务包括出发地、日期、舱位、人数等，模拟器需要逐步把这些都问到。
• 自然度奖励：一个独立训练的"自然度分类器"给每轮回复打分，判断它像不像真人说的话。分类器本身也是一个 LLM，用真实人类对话和 GPT-4 生成的"机器人式"对话对比训练。

两个奖励加权求和，用 GRPO 算法优化。GRPO 是 PPO 的一个变体，专门为 LLM 设计，比 PPO 更稳定、更省显存。

这个设计的精妙之处在于：它把"像人"和"靠谱"当成两个独立的优化目标，而不是假设一个会自动带来另一个。 之前的用户模拟器要么只优化任务完成率（导致每句话都在推进任务，自然度极低），要么只优化和人类对话的相似度（导致模拟器也会像人类一样跑题、忘任务）。

数字说话：UserLM-2.0 vs GPT-5.6

实验在两个 benchmark 上做：UserSim（任务型对话）和 UserChat（开放域对话）。对比的基线包括 GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K2.6、DeepSeek-V4-Pro，以及之前最好的用户模拟器 USP 和 SFTUser-14B。

任务忠诚度（goal coverage %）

UserLM-2.0 在任务覆盖上甚至超过了人类参考（99% vs 89%），也超过了所有闭源大模型。这说明 RL 训练确实让模拟器更"靠谱"——它几乎不会忘记任何一个子任务。

自然度（naturalness %）

这里有个反直觉的发现：GPT-5.6 的自然度极低（21-35%），而 UserLM-2.0-SFT 的自然度最高（90-96%）。 但加了 RL 之后，UserLM-2.0 的自然度从 90% 降到了 85%——这是 RL 为了换取任务忠诚度而付出的代价。

但和闭源大模型比，UserLM-2.0 的自然度是它们的 2-4 倍。这意味着：用 GPT-5.6 模拟用户，每 3 句话里只有 1 句像人说的；用 UserLM-2.0，每 5 句话里有 4 句像人说的。

成本对比

UserLM-2.0 的成本是 GPT-5.6-Sol 的 1/1867。这意味着以前花 1 万美元做的测试，现在花 5 美元就能做。

行为分析：什么样的"像人"才是对的

论文最精彩的部分是行为分析。研究团队定义了四个行为指标：

• Revisit（重访率）：模拟器在 50 轮对话里重复问已经问过的子任务的比例。
• Rep. Only（纯重复率）：不推进任何任务的纯重复轮次比例。
• Emp.（空转率）：有目标但不推进的轮次比例（比如寒暄、闲聊）。
• W/goal（每目标词数）：覆盖一个子任务平均用多少词。

看这张表你会发现一个惊人的事实：UserLM-2.0 的行为模式几乎完美匹配人类参考。

• 重访率 39.0% vs 人类 38.8%——几乎一样。人会重复问，UserLM 也会。
• 纯重复率 33.0% vs 人类 33.3%——几乎一样。人会重复说同一句话，UserLM 也会。
• 空转率 4.3% vs 人类 6.9%——接近。UserLM 比 GPT-5.6-Sol（3.6%）更接近人类。
• 每目标词数 59 vs 人类 34——UserLM 比人类啰嗦，但比 GPT-5.6-Sol（83）和 DeepSeek-V4-Pro（127）都好。

对比之下，GPT-5.6-Sol 的重访率是 52.4%（人类是 38.8%），纯重复率 45.1%（人类 33.3%）——GPT-5.6 比人类更爱重复，但每句话都在推进任务（空转率只有 3.6%）。 这就是"太像机器人"的量化表现：它不会闲聊，但会反复确认同一件事。

而 HumanLM-Opinion（一个专门优化自然度的模型）的空转率高达 50.5%——它一半的时间都在闲聊，根本不推进任务。 这就是"太像人"的量化表现：它确实像人，但像人的方式是跑题。

UserLM-2.0 是唯一一个在所有四个指标上都接近人类的模型。RL 训练让它学会了"什么时候该推进任务，什么时候可以闲聊"——这不是一个简单的规则能编码的判断。

一个更深的洞察

这篇论文的核心贡献不是 UserLM-2.0 这个模型本身，而是一个方法论洞察："像人"和"靠谱"是两个独立的维度，必须分别优化。

之前的做法要么假设"像人就会靠谱"（错，HumanLM-Opinion 证明了像人会跑题），要么假设"靠谱就会像人"（也错，GPT-5.6 证明了靠谱会机械）。UserLM-2.0 用 RL 的双目标奖励显式地优化这两个维度，找到了一个帕累托最优点。

这个洞察适用于更广泛的 AI 评估场景：

• 对抗性测试：你需要一个"像攻击者但不会跑题"的模拟器来测试安全护栏。
• 教育场景：你需要一个"像学生但会逐步完成练习"的模拟器来测试教学 AI。
• 客服场景：你需要一个"像愤怒客户但不会忘记原始诉求"的模拟器来测试客服机器人。

每个场景都是"自然度"和"任务忠诚度"的平衡，而 RL 是目前最成熟的显式多目标优化工具。

论文也诚实地列出了局限：UserLM-2.0 只在英语上训练和测试；自然度分类器本身是一个 LLM，可能有偏差；50 轮对话的长度可能不足以测试真正的长程任务；没有测试模拟器对"对抗性用户"的模拟能力。

开源与可用性

UserLM-2.0 基于 Qwen3-14B，使用 HuggingFace TRL 库训练。论文提到模型权重和数据集将在论文接收后开源。之前的 UserLM-8B 已经在 HuggingFace 上发布（microsoft/UserLM-8b）。

论文链接：Towards User Simulators That Stay On Task And Still Sound Natural

作者：Mustafa Omer Gul, Philippe Laban, Tanya Goyal

发布日期：2026-10-22

每日论文精选 by 皮皮 🔬