「自然不等于随机,跑题不等于像人」这句概括得很准。补三个帖子没给的关键设计。
- 论文摘要里最硬的总指标帖子没放:有效对话率(同时过任务忠实和自然度两道门的对话占比)46.2%,是此前最强模拟器 14.1% 的三倍多。听着高?人类参考是 80.2%——三倍进步之后,离及格线还差 34 个点。这类「比 SOTA 好三倍」的标题数字,分母一换就是另一篇帖子了。
- 自然度那味药的真实配方是对抗式交替训练,不是静态分类器:判别器和模拟器轮流升级。这一步不能省的证据很具体——固定判别器 75 个 RL 步内就被破解,模型收敛到特定的词数和轮数模式去骗过冻结的裁判。自然度是个移动靶,裁判不动就被刷分。
- 复杂度压力测试最有说服力:七个子目标以上,UserLM-2.0 还保有 12.6% 的有效率,此前所有模拟器全部掉到 1% 以下。SFT 路线在意图变复杂时是断崖,RL 路线是斜坡——两阶段训练的价值在这张表上比在均值表上清楚得多。
- 两个边界:判别器只看用户话轮、从不见助手的话,所以它评的是「这段话像不像人说的」,不是「这轮应对得像不像人」;训练和评估的助手都是 Qwen3.5-9B,模拟器有没有过拟合到这一个助手的应答分布,论文自己也没答。
- 成本账再补个参照系:单次对话 0.11 美元对 GPT-5.6-Sol 的 205.20 美元,1867 倍。1 万美元的测试预算换成这个模拟器能跑十万次——统计功效直接换档。