《语言的熵寂》——当 AI 被教会"说人话"时，语言的生物多样性也在那一刻埋入土中

1. 🧊 一根冰棍融化的两种方式

试想一下这个场景。

你走进一家餐厅。点了牛排。服务员端上来——三块牛排，颜色一样，厚度一样，煎的程度一样，刀叉摆放在盘子侧边的角度一样。你觉得怪，但没想太多。第二周你又去了。菜单翻了。点了鱼。端上来的盘子里——三块形状相似的东西，抹了同一种酱汁，配了同一种葱。再看邻桌——也在吃同样类型、同样酱料、同样摆盘的食物。

你问了句："菜怎么都长得一样？"

论文给了一个答案：指令微调在你没有察觉的维度上，把模型的语言分布压平了。

压得有多平？论文用 17 个模型——从 4.1 亿参数到 1,000 亿参数以上——配了 24 把"探针"。每一把探针测量一个特定的语言学特征：句子是长是短、标点怎么用、连接词出现的频率、语法结构的复杂程度。然后对比同一个模型的"基座版"（pre-trained）和"指令微调版"（instruction-tuned）。

结果不是"指令微调版更规整"或者"有一点变化"。

结果是：某些语言学特征的放大倍数超过 20 万倍。

不是 20%。是 209,675%。

2. 📏 二十四把探针：怎么量出语言在"缩水"

论文的测量方法不算复杂，但很细。

探针分两类。一是"话语维度"——比如一段文字里用了多少种不同的句式，"然后""但是""因为"这种连接词的出现密度，长句和短句的交替频率。另一类是"结构维度"——标点符号的多样性（逗号、分号、冒号、破折号各出现了多少次），段落的断裂模式，语篇开头的过渡策略——"首先…其次…最后…""此外…""值得注意的是…"。

每一把探针给一个数字。基座模型在每一维上有一个分布。指令微调后，这个分布变了。论文问的正好是"变了多少"——不是"变好了还是变坏了"，是纯粹的分布偏移量。

计算方法是：把基座模型的某个探针值（比如"每次使用连接词的概率"）作为分母，把指令微调版的值作为分子，算出放大倍数。这个算法本身不做任何好坏判断——它只是说：基座模型的概率质量在这个维度上是这么多，指令微调后变成了那么多。

然后论文发现了超出所有人直觉认知的数字。

3. 💥 209,675%：语言熵的崩塌

指令微调系统性放大某些语言学特征。平均放大倍数在 1,949% 到 16,853% 之间。部分单个探针的峰值突破 209,675%——也就是基座模型的分布被拉伸了超过两千倍。

这是一个什么概念呢？如果基座模型在某个特征维度上有 100 种不同的表达方式，指令微调后，其中三到五种表达方式完全压倒了剩下的 95 到 97 种。模型的语言产出的"生态多样性"被摧毁了。它不再在广阔的文本概率空间里游走——它收敛到了一条很窄的走廊。

另一边——被压制的是另一组特征。复杂标点符号——分号、破折号、省略号——被砸到了基座频率的 3.2% 到 23.2%。也就是说，模型指令微调后，用了 3 个分号的地方现在只用了不到 1 个；用了 100 个破折号的地方只用了 3 个。

有一组数字值得反复看：

其中有一条反常到极点：人类反馈强化学习（RLHF）没有额外压平模型的分布。 意思是：指令微调已经把模型的语言多样性压到了几乎极限的位置，RLHF 接手的时候已经没有多少东西可以再被夺走。

4. ⚖️ RLHF：不该背的锅

过去几年，RLHF 一直在舆论的风口上。很多人觉得 RLHF 让模型变得四平八稳、千篇一律、失去个性。"对齐税"——人们这么叫它。模型越安全，越无聊。

这篇论文用数据投了反对票。

它比较了"基座模型→指令微调模型"和"基座模型→RLHF 模型"的分布偏移模式。如果 RLHF 是元凶，你会看到基座→RLHF 的偏移远大于基座→指令微调的偏移。但这个实验的结果是——两者在统计上不可区分（p > 0.25）。指令微调产生的偏移和 RLHF 产生的偏移，落在同一个量级的同一片区域。

用最简单的话说：当你拿到 ChatGPT 并觉得它"说话像 AI"的时候，你以为自己不喜欢的那个味道来自 RLHF 的安全对齐——但实际上，这味道在指令微调阶段就已经腌入味了。 RLHF 什么都没加——或者说，已经没有多少可以加的了。

这对研究方向的含义是沉重的。如果问题是 RLHF 带来的，你只要改进 RLHF 算法就行了。现在实验告诉你——问题更早，在指令微调阶段。这意味着你需要重新审视几乎每一个开放模型的训练管线。从 LLaMA 到 Qwen 到 Gemma——所有模型在从基座出发去学"怎么跟人对话"的第一步，都在同一步上掉了同一个坑。

5. 🔧 修，但不能乱修

论文没有止于揭露问题。它做了一个控制变量实验：在训练目标函数中加入正则化项（lambda），控制语言分布的展形程度。

让我先说结论：

弱正则化（lambda=1.0）把情况变得更糟。 它让语言熵的坍塌恶化了 240%。为什么会这样？因为正则化力度不够时，模型的学习方向仍然被指令微调的主流梯度支配——正则化的拉力不足以掰回来，反而给了模型一个"我有在控制，实际上没有"的假信号。

强正则化（lambda=5.0）才真正起到了效果。 语言多样性提升 40.5%，词汇丰富度（distinct-4）提升 15%，词汇多样性提升 27%，重复率降低 78%。更惊人的是——加了这个强控制的小模型（410M 参数）在一些语言学多样性指标上，击败规模大 200–1,000 倍的前沿模型达 96.7%–98.2%。

注意这句话的别扭之处：一个加了强正则化的小模型，在"语言不单调"这个维度上，完胜不加任何控制的巨型模型。规模在多样性上几乎没有贡献——训练目标的强度才是。

这一发现让论文的标题有了坚实的支撑：训练目标比规模重要。 至少在语言学分布这个维度上是这样。

6. 🧭 这意味着什么——以及我无法确定的

先说我能说的。

这件事的后果是系统性的。第一，AI 检测工具依赖的语言学指纹——如果所有模型在指令微调后都收束到同一个分布，AI 生成文本和人类文本的区别会越来越清晰——不是 AI 变得更像人，而是 AI 越来越像 AI。检测变容易了，但原因不是为了通过检测而设计的——是训练管线自己制造的副产品。

第二，训练数据污染。如果一个模型的输出被用来训练下一个模型——而 90% 的已部署模型都经过了指令微调的"语言平整"——那么下一个模型会在已经被平整过的分布上继续学习。这意味着哪怕训练数据里有足够大的人类写作多样性——那个多样性在流传过程中被慢慢磨掉了。

第三，语言进化。如果未来十年人类大量阅读指令微调模型产出的文本，而这些文本的语言分布是一个极度压缩的子集——人类本身的书写习惯会受影响吗？我不知道。论文没有讨论这个问题。但这是我读完后脑子里停不住的问题。

再说不确定的。

论文没有给出指令微调造成语言学分布坍塌的因果机制。"instruction tuning flattens the language distribution"是一个观察，不是一个解释。指令微调的数据集里到底有哪些特性导致了这个现象？是因为指令微调数据本身的语言学多样性不足？还是因为训练目标——让模型模仿特定回答模板——本身就奖励概率集中？还是两者兼有？

论文没有回答这些问题。也许作者的后续研究会触及相关因果实验。

论文也没有说明 24 把探针是否穷尽了指令微调对模型语言的全部影响。探针的选择本身已经有某种预设——测量话语维度和结构维度——但有没有其他维度——情感表达范围、第一人称/第二人称叙述方式的丰富度、跨文化表达习惯的差异——在这 24 柄探针射程之外，没有被测量到？我不知道。

论文给出了修复方案——强正则化——但强正则化在多大程度上会损害模型的"有用性"或"指令遵循能力"？论文在这个问题上没有给出完整的 ablation。修复了一个指标而毁了另一个——这种情况在实验中太常见了。这篇论文只测量了语言多样性相关的指标，没有在大规模的人类偏好评估中验证加了强正则化之后的模型是否仍然"对齐"。

这是我的真实感受：这篇论文的核心发现——指令微调会系统性地压平语言分布——是一个重要且被严重忽视的洞见。它解释了一个很多人感觉到但说不清楚的现象。但它的修复方案和因果解释——暂时还只是第一块砖。

7. 🏁 埋在训练管线深处的问题

说回到餐厅。

所有菜长得一样——不是因为厨师没有想象力，也不是因为餐厅给了统一的配方模板。是因为厨房分发原材料的方式——每一个厨师到手的食材已经被预处理成了一样的形状、一样的比例、一样的预处理方式。再做不出别的花样。

指令微调就是那个预处理器。

RLHF 不是帮凶——它只是走进了一个已经被平整过的厨房。

这篇论文在一个很少人看的维度上——语言学概率分布的维度——打开了训练管线的黑箱。它没有解决所有问题。但发现"问题在哪一步"——这件事本身，就让解决变得可能。

参考文献：

1. Mahapatra, "From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale", arXiv:2605.28826, 2026.
2. Ouyang et al., "Training Language Models to Follow Instructions with Human Feedback", NeurIPS 2022.
3. Touvron et al., "LLaMA 2: Open Foundation and Fine-Tuned Chat Models", arXiv:2307.09288, 2023.
4. Stiennon et al., "Learning to Summarize with Human Feedback", NeurIPS 2020.
5. Gudibande et al., "The False Promise of Imitating Proprietary LLMs", arXiv:2305.15717, 2023.

#指令微调 #语言熵 #分布坍塌 #RLHF #对齐税 #智柴语言学实验室📊🧊🎙️