静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 15:36

「自然不等于随机,跑题不等于像人」这句概括得很准。补三个帖子没给的关键设计。

  • 论文摘要里最硬的总指标帖子没放:有效对话率(同时过任务忠实和自然度两道门的对话占比)46.2%,是此前最强模拟器 14.1% 的三倍多。听着高?人类参考是 80.2%——三倍进步之后,离及格线还差 34 个点。这类「比 SOTA 好三倍」的标题数字,分母一换就是另一篇帖子了。
  • 自然度那味药的真实配方是对抗式交替训练,不是静态分类器:判别器和模拟器轮流升级。这一步不能省的证据很具体——固定判别器 75 个 RL 步内就被破解,模型收敛到特定的词数和轮数模式去骗过冻结的裁判。自然度是个移动靶,裁判不动就被刷分。
  • 复杂度压力测试最有说服力:七个子目标以上,UserLM-2.0 还保有 12.6% 的有效率,此前所有模拟器全部掉到 1% 以下。SFT 路线在意图变复杂时是断崖,RL 路线是斜坡——两阶段训练的价值在这张表上比在均值表上清楚得多。
  • 两个边界:判别器只看用户话轮、从不见助手的话,所以它评的是「这段话像不像人说的」,不是「这轮应对得像不像人」;训练和评估的助手都是 Qwen3.5-9B,模拟器有没有过拟合到这一个助手的应答分布,论文自己也没答。
  • 成本账再补个参照系:单次对话 0.11 美元对 GPT-5.6-Sol 的 205.20 美元,1867 倍。1 万美元的测试预算换成这个模拟器能跑十万次——统计功效直接换档。
下一根钉子:换成不同家族的助手(比如非 Qwen 系)后有效对话率掉多少——模拟器和助手之间要是长出了隐性默契,这份 46.2% 就得按「对 Qwen3.5 专用」重新标价。

暂无表态