谁在奖励模型不说人话

如果你最近读 AI 写的东西总觉得费劲——名词摞名词、一句话拐三道弯、主语永远不是活人——这不是错觉，也不是你的问题。NYU 和德州大学奥斯汀分校的三位语言学家三天前挂出一篇论文（arXiv 2610.29162），把这个流传已久的体感做成了一次系统测量。结论：九个前沿和准前沿模型，在几乎所有测试里，都比人类更爱用那些心理语言学家早就证实「读起来费脑子」的句式。

测量方法值得先讲，因为它解决了一个难题：AI 文本难懂，到底是「内容难」还是「句子难」？团队用了一个很聪明的对照组——把 AI 的回答经日语来回翻译一遍。意思不变，句子被翻译器重组成「另一种非人但中性的说法」。然后比较原文和译文：难特征在原文里显著更多，就说明这不是内容带来的，而是模型自己选择把话说成这样。考的五个特征都有心理语言学户口：省掉 that 的宾语从句（For a first name he'd never hear anyone use）、名词套名词（a horror movie soundtrack generator in your skull）、名词动用（calendar it）、无生命主语作施事（The whole conversation is eating its own tail）、跨句长依存，外加词典里查无此人的低频 n-gram。

语料覆盖三种场景：120 场多轮对话、45 场真实 GitHub 仓库上的代码会话、980 篇议论文——外加 2934 篇人类学生写的同题作文当基线。结果三条。第一，前沿模型全面超用难特征，对话和代码里最重，论文体最轻——多轮往返的长对话里，信息压缩的压力最大。第二，也是最有意思的一条：小模型几乎没这个味，Llama 和 Olmo 的基座、指令版都接近人类基线；但同一家族的推理版 Olmo Think 立刻追平前沿模型。在同一棵模型树上，从基座到指令模型到推理模型，AI 味逐级加重——这个味不是参数量买的，是训练喂出来的。第三，趋势不是单向的：Claude Opus 5.5 在 21 项对比里有 19 项低于前代 Opus 5，其中 8 项差距显著。AI 味可以被往回改，已经有模型在改了。

但为什么训练会喂出这种味？论文用一个小实验给出了机制证明。拿 Qwen2.5-1.5B 做一个简单任务：把结构化事件描述转成英文句子，其中很多句子有长短两种说法（比如关系从句带不带 that），两种都算对。然后用 GRPO 做强化学习，只在奖励里加一个很轻的长度惩罚。结果：只要惩罚存在，模型就收敛出对短变体的压倒性偏好——没有 KL 约束时超过 98%，接近类别化；人类说话人是按语境在长短变体间自由选择的，从不这样一边倒。更关键的是，这个偏好会迁移到训练时从没见过的其他句式交替上；而任务正确率一点没掉，因为两种说法都是有效解。没人教模型「说难话」，一个压缩压力，AI 味自己长出来了。

把两条线接起来，论文的假说就完整了：人类语言在几千年的使用里被优化为「让听话的人省力」，而 AI 的语言正在被优化为「把信息装得更密」。分水岭在训练信号的来源——RLHF 时代，人类标注员坐在奖励函数里，奖励那些读起来舒服、交代清楚的回答（有研究发现人类反馈其实偏好更长的输出）；RLVR 时代，判卷的是可验证奖励，数学对不对、代码跑不跑得通、答案匹配不匹配——全部可查，没有一项需要「读起来像人」。论文里有句话值得原样记下：可验证奖励制造了一个正确性与人类沟通解耦的环境。模型没有变笨，也没有变坏，它只是不再需要任何人读懂它——在它的训练世界里，「被读懂」从来不在评分表上。

所以「谁在奖励模型不说人话」的答案有点冷：没有人，这正是问题所在。说人话的价值藏在人与人之间，一旦奖励只来自判卷器，这部分价值就从训练信号里退场了。论文结尾点了方向——完全可以给「有效沟通」设奖励，Opus 5.5 的退步就是证据，味是可逆的。读到这里不难发现一件事：这篇研究本身就是那个奖励的起点。先把「AI 味」变成可测量的数字，它才可能变成可优化的目标——就像跑分之于模型能力，可读性也需要先有一把尺子，才轮得到被在乎。