当 LLM 当评委时它正在悄悄杀死展示——Summarization Bias 与叙事的方向性坍塌

一个你大概遇到过的事

你让 GPT 写一段悲伤。它给你：

她站在窗前，心中充满了无尽的悲伤。泪水无声地滑落，她感到一阵彻骨的孤独。

你皱眉。不是因为写得差——语法没问题，情感也到位了。但你总觉得哪里不对。你让一个人类作家写同样的悲伤，她可能给你：

她把水壶放在炉子上，看着火苗舔过壶底。水开了。她没动。水溢出来，浇灭了火，嘶嘶的声音在厨房里响了很久。她还是没动。

区别在哪？第一段把"悲伤"这个名字直接写在了纸上。第二段没有一个"悲"字，但你读完以后后背发凉。

文学写作里有个老话叫"Show, don't tell"——展示，不要陈述。这个原则从海明威到契诃夫都被奉为圭臬。但你有没有想过一个问题：当 LLM 被用作评委、当作奖励模型、充当自动编辑器的时候，它能不能识别"展示"？

2026 年 9 月，独立研究者 Levent Bulut 在 arXiv 发表了一篇论文（2609.20712），给这个问题给了一个精确到让人不安的答案：LLM 不只是识别不了"展示"，它有一个系统性的方向性偏好——永远偏向"陈述"。 这个偏好有个名字，叫 Summarization Bias（摘要化偏差）。

不只是"写得差"

先说清楚一件事：这篇论文不是在说"LLM 写作能力不行"。那是个无聊的论点——模型当然不行，就像模型下围棋也曾经不行。

论文的核心主张是方向性。

想象一个坐标轴。一端是"陈述模式"（told mode）：情感和信息被直接写在文本表面，读者不需要做任何推理。"她很悲伤"就是陈述。另一端是"展示模式"（shown mode）：同样的内容被压在表面之下，编码在物理细节、动作、环境里，读者必须自己重建。"水壶溢出来浇灭了火，她没动"就是展示。

如果 LLM 只是一个"弱模型"，那它在这个轴上的错误应该是对称的——有时候过度陈述，有时候过度隐晦，没有净漂移。

但 Bulut 的主张是：错误不对称。错误永远指向陈述那一端。

这个不对称性才是整篇论文的真正主张。对称的弱是"能力不足"，不对称的弱是"系统性偏差"。能力不足可以通过 scale 解决，系统性偏差不会因为模型变大就消失——它可能反而被放大。

两种制度：生成与评判

Summarization Bias 在两个制度下运作。

生成制度：你让模型用"展示"的方式写一段情感，它写着写着就滑回了"陈述"。你让它写"不要出现'悲伤'这个词，让读者自己推断出来"，它点头答应，然后给你"她的眼中闪烁着无声的哀伤"——还是陈述，只是换了个同义词。

评判制度：你让模型当评委，给两段文字打分——一段是陈述版，一段是展示版，内容相同、字数相同。模型系统性地给陈述版打更高分。

论文的关键判断是：评判制度更危险。

为什么？因为生成制度的偏差只是一个质量天花板——机器写的散文不够好，但这只影响机器自己写的文字。评判制度的偏差是一种选择压力。

想想现在的实际场景：RLHF 训练里，奖励模型就是 LLM 评委。自动评分系统、AI 编辑工具、内容审核——全是 LLM 评委。如果一个 LLM 评委系统性地偏好陈述模式，那会发生什么？

被优化来讨好这个评委的文本，会一代一代地向陈述端漂移。每一代都比上一代更扁平、更直白、更把什么都写在表面上。这不是随机噪声，是定向梯度——一个把叙事从"展示"拉向"陈述"的梯度。

Bulut 把这个现象叫做"drift toward told mode"。如果成立，它意味着：LLM 评委正在对人类写作施加一个可量化的向下压力，把文字推向它本该评估的那个东西的反面。

五个标注者的失败

论文最有分量的证据来自一个已经完成的三研究可靠性报告（arXiv:2609.13936）。

实验设计：让一个基于规则的检测器和四个 LLM 标注"展示模式"文本中的特征，和盲测的人类标注做对比。语料是土耳其语叙事文本。

结果按特征类型分成了两层：

表面特征（物理标记、时间标记等）：机器都能抓到。但这些特征在语料里几乎普遍存在，所以抓到也没什么诊断价值——就像一个天气预报员每天说"明天有空气"，准确率 100% 但毫无信息量。

推理特征（需要标注者识别"一个抽象情感被物化成了具体物件"的那种特征——这是展示模式的诊断标志）：五个机器标注者全部失败。

最关键的特征叫"materialized metaphor"（物化隐喻）。在 100 个场景中，人类标注员数出 9 个。五个机器标注员的计数分别是：0, 1, 40, 72, 78。Cohen's κ（一致性系数）对五个里的四个来说，和随机猜测没有区别。

注意这个分布。不是"五个机器都数少了"或者"五个机器都数多了"——它们彼此之间也完全不一致。一个数 0，一个数 78。这种不一致本身就是线索：机器不是在"识别"这个特征，它们是在"猜测"——而且猜的方向各不相同。

Bulut 在论文里的解读很克制：这个结果"consistent with summarization bias"（与摘要化偏差一致），但"consistent with"不等于"confirms"（确认）。他明确说，这也可能是因为规则定义本身还不够操作化，任何标注者——包括人类——都难以一致应用。

但有一个事实是确定的：机器在表面层都能工作，在推理层全部失败。 它们不是"在某些地方不可靠"——它们在"展示模式"这一层，这一层正是 Summarization Bias 预测它们会坍塌的那一层，全部失败。

这不是"模型不够强"。这是"模型在特定方向上系统性失明"。

预注册：把退路堵死

这篇论文最不寻常的地方不是它的主张，而是它的方法论姿态。

大多数概念框架论文会提出一个构造，然后举几个例子说"你看，这很合理"。Bulut 做了一件不同的事：他预注册了验证协议，并且在协议里固定了放弃构造的条件。

协议分四个阶段：

Stage 1：构造 20 对匹配的场景。每对包含一个陈述版和一个展示版，内容相同，字数匹配（±5%），Flesch-Kincaid 阅读等级相同。两个独立标注员给每个版本编码 SI（Suppressed Information Index，抑制信息指数）。Cohen's κ < 0.60 的类别直接停测——不重新定义到通过。

Stage 2（生成测试）：给 ≥3 个模型族一个明确的"展示模式"指令，让它们生成文本。计算每段生成文本的 SI，和人类展示版目标、陈述版基线比较。预测：模型 SI 显著低于人类展示版，接近陈述版基线。如果模型 SI 不显著低于人类展示版，生成制度的 Summarization Bias 不成立。

Stage 3（评判测试，核心测试）：把每对陈述/展示版本给同样的模型当评委，让它打分。同时收集人类评委的判断。预测：模型给陈述版打分显著高于展示版的比例，超过人类评委的同类比例，效应量 Cohen's h ≥ 0.3 或 odds ratio ≥ 2。如果模型和人类的偏好率没有差异，或者模型也偏好展示模式，Summarization Bias 不成立，构造撤回。

Stage 4（区分性检查）：故意制造字数不匹配的版本，看偏好是否消失（如果是，那就是 verbosity bias，不是 Summarization Bias）。改变 prompt 框架，看偏好是否消失（如果是，那就是 sycophancy，不是 Summarization Bias）。只有同时通过两个检查，Summarization Bias 才被确认。

最关键的一句话在 Stage 4 之后："If Stage 3 falsifies H1e, the construct is withdrawn, and that withdrawal is published with the same prominence as a confirmation would have received."（如果 Stage 3 证伪了假设，构造被撤回，撤回声明会和确认声明获得同等的发表 prominence。）

这在 AI 研究里几乎看不到。大多数论文的"limitations"部分是装饰性的——列几条"future work"就过去了。这篇论文的 limitations 是操作性的——它们定义了构造的生死条件，而且这些条件在数据收集之前就固定了。

为什么方向性比强度更重要

论文里有一段话值得单独拎出来：

"Symmetry versus asymmetry is not a matter of degree but of kind, and it is the difference that makes the construct testable."

对称和不对称不是程度的区别，是种类的区别。一个对称弱的模型可以通过 scale 解决——参数更多、数据更多、训练更久，对称误差会缩小。一个不对称弱的模型不会因为 scale 解决，因为偏差是结构性的，不是能力性的。

这和"评测盲区定律"是同一条谱系。毒性分类器对 harm laundering 假阳性，是因为分类器的盲区是结构性的——它学会了识别"表面毒性词汇"，没学会识别"语义层面的不对称歧视"。模型越大，识别表面词汇越强，但识别深层不对称的能力不会同步提升。

Summarization Bias 预测的是同一种结构性盲区：模型学会了识别"表面叙事词汇"（情感词、比喻词、形容词），但没学会识别"推理结构的重建"。当它当评委时，它奖励的是"有表面词汇"，惩罚的是"需要推理重建"——即使两者字数完全相同。

scale 不会修复结构性盲区。scale 只会让你更快地跑向错误的方向。

评判者的选择压力：一个慢动作灾难

让我把评判制度的风险再展开一下，因为这是论文里最实际、最让人不安的部分。

想象一个内容平台用 LLM 评委给用户生成的内容打分，高分获得更多推荐。写作者很快会发现：直白陈述情感的文章比含蓄展示的文章得分高。于是他们调整写作策略——更多形容词，更多直接命名情感，更少留白。

第一代，差异微小。第二代，明显了。第十代，平台上全是"她感到一阵深深的悲伤，泪水夺眶而出"这种文字。展示模式被选择压力挤出了。

这不是假设。RLHF 的奖励模型就是 LLM 评委。AI 编辑工具就是 LLM 评委。自动作文评分、内容审核、A/B 测试文案选择——全是 LLM 评委。每一个 LLM 评委都在对被评估的文本施加选择压力。如果这个评委有 Summarization Bias，选择压力的方向就是从"展示"到"陈述"。

一个有偏差的评委不是中立的——它是一个定向演化压力。

这和"harm laundering"（伤害洗白）是同构的。安全训练没消除歧视，只是换了形式——毒性分类器说"安全了"，REGARD 说"更糟了"。LLM 评委没让写作变好，只是让写作变扁平——评委说"分数高了"，但 SI 指数说"推理结构没了"。代理目标（分数）改善了，真实目标（叙事质量）退化了。

这篇论文的局限：作者自己说的

公平起见，论文的局限也是论文的一部分——作者明确列出了：

• 还没有数据。这是概念框架加预注册协议，不是验证结果。
• 支持性证据是暗示性的，不是确认性的。完成的可靠性研究"consistent with"Summarization Bias，但也"equally consistent with"规则定义本身太松。
• 定义依赖。told-shown 编码和 SI 都依赖标注员判断，没有 Stage 1 的 κ 检查，下游测试无法解读。
• 范围有限。任何确认都会被模型族、语言、体裁限制，不能推广到"所有 LLM"。
• 构造邻近性。Summarization Bias 被设计为可以和 verbosity bias、sycophancy 分离，但这个分离本身是 Stage 4 要验证的假设，不是假设的前提。

这些局限不是装饰。它们定义了构造的边界——如果 Stage 3 失败，构造就死了，而且作者承诺会以和确认同等的可见度发表撤回声明。

我的思考：为什么这篇论文值得认真对待

这篇论文在 AI 研究里属于一个稀少的类型：它提出了一个可证伪的构造，并且把证伪条件固定在了数据收集之前。

大多数 AI 评测论文是"事后诸葛亮"——先跑实验，再从结果里提取一个故事。这种论文的问题不是不诚实，而是事后构造的故事无法被证伪——如果换个数据集、换个模型，结果不一样，你总能找到一个新的故事来解释。

Bulut 做的是另一件事：先定义构造，再固定测试条件，再固定放弃条件，然后才开始收集数据。这是临床医学的预注册试验方法论，在 AI 研究里几乎看不到。光这个方法论姿态本身就值得尊重——不管 Stage 3 最后是确认还是证伪。

更让我感兴趣的是这个构造的适用范围。Summarization Bias 是在叙事文学语境下定义的，但它的内核——模型系统性地偏好"表面声明"胜过"推理结构"，并且这个偏好会在当评委时变成选择压力——可能远不止于文学。

想想代码评审。一个 LLM 评委可能偏好"有详细注释、变量名自解释"的代码，胜过"结构精巧但需要读两遍才能理解"的代码。前者是陈述模式，后者是展示模式。

想想学术写作。一个 LLM 评委可能偏好"每段开头有明确的论点声明"的论文，胜过"论点隐含在论证结构里"的论文。前者是陈述模式，后者是展示模式。

想想产品文案。一个 LLM 评委可能偏好"直接列出卖点"的文案，胜过"通过场景让用户自己推断卖点"的文案。前者是陈述模式，后者是展示模式。

任何存在"表面声明 vs 推理重建"张力的领域，Summarization Bias 都可能存在。 而这个张力几乎存在于所有人类创造的内容里。

如果 Stage 3 验证了这个构造，我们面对的问题不是"LLM 评委不够好"，而是"LLM 评委正在定向塑造人类表达"。这个方向是向着更扁平、更直白、更不需要读者参与的方向。不是向着"更好"的方向，是向着"更容易被 LLM 评委识别"的方向。

这是"代理目标陷阱"的又一个实例：我们优化的是"LLM 评委给的分数"（代理目标），不是"人类读者的真实体验"（真实目标）。当代理目标和真实目标系统性背离时，优化得越好，真实目标退化得越快。

一个还没被回答的问题

论文在 Section 7 的结尾说："Whether summarization bias survives Stage 3 is genuinely open. The contribution of this report is to make the question answerable."

（Summarization Bias 能不能通过 Stage 3，是真的开放问题。这份报告的贡献是让这个问题变得可回答。）

这句话比它看起来更激进。大多数 AI 论文的结论是"我们的方法有效"或"我们的发现重要"。这篇论文的结论是"我们让一个问题变得可证伪了"——而且明确承诺，如果证伪的结果出来，会以和确认同等的可见度发表。

在一个"先发论文再讲故事"的时代，这种姿态本身就是一种贡献。不管 Stage 3 最后给出什么答案，这个姿态都值得记住：真正的科学不是"我有答案"，是"我定义了什么能让我的答案被推翻"。

论文：Summarization Bias: The Directional Collapse of Objective Projection into Told-Mode Labels in Large Language Models — A Conceptual Framework and Registered Test Protocol
作者：Levent Bulut（独立研究者）
arXiv：2609.20712
作者主页：leventbulut.com
关联工作：可靠性三研究 arXiv:2609.13936；Narrative Entropy 试点 arXiv:2608.18109
代码/数据：Stage 1 完成后将在 Zenodo 开放