Judged in Company：同一个评分，换个批次就变了11-22%

一个反直觉的发现

你让一个大语言模型去判断 25 条社交媒体评论是否有害。你把 25 条打包在一个 prompt 里发过去——这是业界标准做法，省钱省 token。

然后你做了一个看似无害的实验：把同样的 25 条评论重新随机分组，还是 25 条一批，再问一遍模型。

结果：11% 到 22% 的判决变了。

不是模型变笨了，不是 prompt 变了，不是评论变了。只是谁和谁在一起变了。

更诡异的是：当你拿 AUROC（衡量分类准确度的标准指标）去对比单条评分和批量评分时，差异只有 -0.033 到 +0.010。也就是说，模型整体上看起来判断得一样准，但具体到每一条评论的判决，却有五分之一被翻了盘。

这就是 Judged in Company 这篇论文的核心发现：LLM 的判决不是 separable 的——同一条评论，在不同的同伴面前，会得到不同的判决。

论文来自慕尼黑工业大学的 Peng Xie 和 Amr Alanwar，发表于 2026 年 10 月 29 日。

实验设计：把随机性当工具

研究者做了三件很简单但很暴力的事情。

任务选择：三个判断任务——社交媒体评论的有害性判定、简答题评分、评论星级评定。这三个任务覆盖了分类、评分、排序三种典型 LLM 评判场景。

模型选择：五个 4-9B 参数的开源模型（Llama、Qwen、Mistral 系列），外加四个 14-32B 的模型。覆盖了主流尺寸。

核心操作：把 2000 条固定的 item 分配到不同的随机批次里，每批 25 条。然后比较同一个 item 在不同批次中的判决是否一致。

打个比方：你让老师批改 25 份试卷。同样的 25 份卷子，你把它们打乱顺序重新分成不同的 25 份一组，再让老师改一遍。你发现同一份卷子，在不同的班级里，得分居然不一样。

11-22% 是什么概念？

为了理解这个数字的分量，研究者设了几个对照组：

• 重命名 item 的 key（比如把 comment_1 改成 item_A）：判决变化 4.8-8.7%
• 改写指令措辞：判决变化 3.5-9.5%
• 重新随机分批：判决变化 11-22%

也就是说，谁和谁在一起这个因素，比问题怎么问和字段叫什么名字加起来还要大 6-13 个百分点。

对于 14-32B 的大模型，这个数字是 6-15%——稍好一些，但依然不可忽视。

为什么 AUROC 几乎不变？

这是这篇论文最精妙的地方。AUROC 衡量的是整体排序能力——模型能不能把有害的排在无害的前面。这个指标在批量评分和单条评分之间几乎没差。

但 AUROC 是一个聚合指标。它告诉你模型整体上分得开，但不告诉你具体到某一条，判决稳不稳定。

打个比方：一个天气预报员，预测明天最高温度的准确度是 90%。但你发现，他预测的明天是否需要带伞这个二值判断，在同样的天气数据下，换个排列顺序就会变 20%。温度预测的准确度掩盖了带伞决策的不稳定性。

论文给出了一个数学解释：flip rate（翻转率）可以精确分解为 order、slot、membership 三个分量。

• Order：同一批里 item 的排列顺序
• Slot：item 在批次中的位置（第几个）
• Membership：哪些 item 被分到同一批

这三者中，membership 的影响最大——占了 0.11-0.22 的翻转率。而且这是投票消不掉的部分：即使你对 9 种排列做多数投票，仍然有 52-60% 的翻转被保留下来。

两个通道：文本和前序判决

研究者进一步拆解了为什么邻居会影响判决。他们发现两个通道：

通道一：邻居文本本身。当你把一条温和的评论放在 24 条极端暴力的评论旁边，模型对这条温和评论的有害性评分会偏高。这是对比效应——人类心理学早就有这个现象，现在 LLM 也有。

通道二：模型自己已经给出的判决。当模型在 prompt 里已经对前 10 条评论给出了有害判决，它对第 11 条的判决会被自己之前的判决锚定。这是上下文惯性。

这两个通道叠加，导致同一个 item 在不同批次里得到不同判决。

为什么这很重要？

1. 评测的 separability 假设是错的。

几乎所有 LLM 评测工具都默认：同一个 item 在不同 prompt 中的判决是独立的、可复现的。这篇论文证明这个假设不成立。你换一个分批方式，就有 20% 的判决翻转。

2. 聚合指标掩盖了决策不稳定性。

AUROC 差 0.03，看起来几乎没差。但具体到某个用户的评论是否被判为有害，这个判决可能完全取决于它恰好和哪些评论被分在同一批里。这对内容审核、教育评分、产品评论分析等场景有直接影响。

3. 投票不能完全解决。

对多种排列做投票能减少 order 和 slot 的影响，但消不掉 membership 的影响。这意味着投票是一个缓解而非解决方案。

我的看法：评测盲区定律的又一个实例

这篇论文让我想到一个反复出现的模式：聚合指标会系统性掩盖局部不稳定性。

• 标准基准准确率掩盖了 VLM 内部表示对空间关系编码不足（CASP-VL/EICS）
• Perplexity 掩盖了蒸馏后关键回路的坍缩（Distillation）
• AUROC 掩盖了批量评分中 20% 的判决翻转（本文）

不能问模型准不准，要问在什么上下文里准，在什么上下文里不稳。

这篇论文的数学分解尤其漂亮：flip rate = f(order, slot, membership)，而且 membership 是投票消不掉的。这不是模型不够好的问题，是批量评测这种范式本身的结构性缺陷。

一个更实际的启示：如果你的业务场景里，一个用户的评论是否被删帖取决于它恰好和哪些评论被分在同一批里，那你的审核系统就有 20% 的随机性。 这不是模型的问题，是你使用模型的方式的问题。

论文：arXiv:2610.40241
代码：github.com/PX-CPS/Judged_in_company