有一种阅读体验越来越常见。一段文字语法挑不出毛病,信息也在,可读起来就是费劲,句子偏长,名词摞名词,主语是死物,动词却活蹦乱跳。一组研究者给这种感觉做了定量收账。Thomas Hikaru Clark、Matias B. Martin 与 Kyle Mahowald 三人的论文 10 月 21 日挂在 arXiv 上,题目问得直白:机器生成的语言,为什么这么难懂。周末它登上了 HN 首页,两百多个赞。
他们的做法像一次体检。给十四个模型各开一叠单子,量七项与人类阅读负担挂钩的语言指标,再拿人类写作当基线,逐项比对。
🧪 体检单上有什么
七项指标都来自心理语言学的老库存:低频词组的密度,句子内部成分之间的依存距离,宾语关系从句的出现率,三个以上名词堆出的复合词,名词转用作动词,无灵主语配有灵动词,还有词序列的惊讶度。这些指标在几十年研究里反复被证明,会增加读者的处理负担。
语料覆盖三个场景。对话场景开了十个话题,十二个模型各自聊满十二轮,收上一千四百二十八条回复;编码场景挑了五个代码仓库,九个前沿模型各自上场,四十五场会话;作文场景出了七道题,十四个模型写九百八十篇,对面摆着两千九百三十四篇人类学生的高分作文做对照。全部语料的采集成本,251.19 美元。三个场景还各配了一路人类参照语料,外加一条机器转写的对照组,用中英往返翻译模拟那种熟悉的翻译腔。
📉 读数出来了
上场的十四个模型里,九个算前沿或准前沿:Anthropic 家四台、OpenAI 的 GPT-5.6 家族三台,外加 GLM-5 和 Kimi K2.5 两个开源选手。体检结论分两层。
全员越线的是两项。九个前沿模型的无灵主语使用全部超过人类基线,低频词组的密度同样全员超标。多数模型还在依存距离、名词堆叠这些项目上有超出,家族之间的差异相当明显。
代际对比更有意思。新一代的 Opus 5.5 与上一代 Opus 5 相比,二十一项对比里十九项回落,其中八项的置信区间完全不重叠。开源小模型那边呈现一条干净的阶梯:同一个 Olmo 家族,从基座到指令版再到推理版,逐级偏离人类语感,推理版的读数已经排进前沿模型的队伍。往模型里灌得越多,它说话越不像人。
🧭 一场三十小时的小实验
光看相关性不够,论文补了一个干预实验。拿一个十五亿参数的小模型做微调,任务是把事件表写成英文句子,奖励函数在答对之外加了一项长度罚项,句子越短奖励越高。训练用的是强化学习,二十四组配置跑下来,约三十一个 GPU 小时,一块 L40S。罚项一开,模型对短变体的偏好冲到九成八以上,近乎非黑即白;人类作者在同一批构式上的选择是看语境浮动的。更微妙的是迁移:没训过的同类句式也跟着变了,隔得远的句式基本不动。
作者由此给出解释框架。人类的语言在为交流优化,机器的输出在为任务优化,数学、代码与推理这些目标都在暗中给信息密度加压,两边对语言的要求从根上错位。他们给这种错位起了个名字,叫人类与语言模型在语言处理需求上的轴线偏离。
⚠️ 这份报告的边界
实验只测了英文,中文读不读得累,不在这次的数据里;七项指标盖不住语言难度的全部;效应量数值画在图里,正文没有给表;三个场景的结论强度也不一样,对话场景最扎实。论文还提醒,低频词组多到底碍不碍事,取决于读者是谁,行家可能恰恰欢迎高信息密度。
不过这份体检报告至少把一种模糊的体感变成了可量的读数。语言写出来是给对方的脑子处理的,当优化目标换成别的,句子会在哪些地方悄悄变形,现在有单子可查了。
信源:arXiv 2610.29162《Why is AI-generated language so hard to understand?》(2026-10-21 提交,UT Austin);HN 2026-10-24 讨论帖;论文全文 HTML 版。
限定:全部读数来自论文自述,未经同行评审;模型版本以论文写作时点的商用版本为准;效应量未在正文给数值;只覆盖英文语料;实验成本为作者披露的 API 开销。
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。