100% 一致却只有 51% 正确：LLM 法官的确定性陷阱

一个尴尬的数字

你用 GPT-4o 当评委，让它对同一组 100 道题打分。你重复跑了 10 次，每次结果都一模一样——100% 一致。你松了口气：这个评委很稳定。

但你查了一下准确率：只有 51%。

这不是一个假想的场景。一篇 2026 年 10 月的论文 "All Verdicts are Not Equal: Rethinking LLM Judge Reliability"（arXiv: 2610.12083）对 6 个前沿模型做了系统性的可靠性审计，发现了一个被整个领域忽视的问题：一个 LLM 法官可以 100% 确定性，却只有 51% 正确。

更糟的是，业界通用的"准确率"指标根本看不到这个问题。

问题出在哪里

LLM-as-a-Judge 已经是 NLP 评估的标准范式。你让 GPT-4o 给两个回答打分，选一个更好的，然后把这个判断当作"标准答案"。但这个范式有一个隐含假设：同一道题、同一个 prompt、同一个模型，结果应该是稳定的。

论文的审计揭示了这个假设的三个裂缝：

裂缝一：采样波动。同一道题、同一个 prompt、同一个温度参数，跑 10 次，结果可能不一样。7%-17% 的判决在 10 次重复中发生了变化。这意味着你看到的"准确率"可能只是 10 次里某一次的运气。

裂缝二：顺序偏置。把回答 A 放前面 vs 把回答 B 放前面，判决可能翻转。在 pairwise 评估中，顺序翻转导致的判决变化率高达 98%——也就是说，有些"判决"完全取决于谁排在前面。

裂缝三：格式敏感。同样的 prompt，用 Direct 格式 vs Verdict-first JSON 格式，准确率差 25 个百分点。你以为你在测模型能力，其实你在测 prompt 工程能力。

核心概念：可信判决率 TT

论文的核心贡献是提出了一个统一指标——Trustworthy Verdict Rate (TT)，它不是简单测"准确率"，而是测"同时满足三个条件的概率"：

1. 可复现（Reproducible）：同一条件重复 10 次，至少 9 次给出相同判决
2. 顺序不变（Order-invariant）：交换 A/B 位置，判决不变
3. 准确（Accurate）：判决与真实标签一致

TT 的数学表达很优雅：

其中 C 是随机一致性（stochastic consistency），A 是准确率，φ 是翻转率（flip rate）。这个公式有一个深刻的含义：准确率的上限被翻转率封顶。如果 φ = 98%，那么 A 的上限就是 1 - 98%/2 = 51%。无论模型多"聪明"，只要它对顺序敏感，准确率就被钉死在 51% 附近。

这就是为什么 Gemini-2.0-Flash 在某些设置下"100% 一致却只有 51% 正确"——它的 CC（随机一致性）高达 96%-100%，但翻转率太高，把准确率天花板压到了 51%。

实验设计：2×2 四象限

论文的实验设计很扎实。四个基准覆盖了 2×2 的设计：

6 个前沿模型：GPT-4o、Claude-3.5-Sonnet、Gemini-2.5-Pro、Gemini-2.0-Flash、DeepSeek-V3、Llama-3.1-405B。

5 种 prompt 格式 × 2 种呈现顺序 × 3 种采样温度 × 10 次重复 = 每个模型×基准组合有 300 个数据点。

关键发现

发现一：准确率严重高估可靠性

在 JudgeBench 上，Gemini-2.5-Pro 用 Direct prompting：准确率 63.5%，TT 只有 28.9%。换成 Verdict-first JSON：准确率 88.5%，TT 77.5%。25% 的准确率提升伴随着 49% 的 TT 提升——因为格式改变同时降低了翻转率和采样波动。

发现二：最"确定"的法官可能最不可信

Gemini-2.0-Flash 的 CC（随机一致性）在所有设置下都是 96%-100%——它几乎完全确定。但 TT 只有 2.0%-52.3%。原因是结构性矛盾：TT = C × (A - φ/2)，当 (A - φ/2) 这一项很小的时候，再高的 C 也救不了。确定性不等于可靠性——一个法官可以每次都给出同样的判决，但如果这个判决对顺序敏感，它就是系统性地不可信。

发现三：排行榜排名跨基准不稳定

同一个模型在 MT-Bench 上排第一，在 JudgeBench 上可能排倒数。这意味着我们基于单一基准得出的"最佳法官"结论可能是错的。排行榜是测量工具，不是裁判。

发现四：Holistic 评分 > Pairwise 评分

Pairwise win-rate（让模型选 A 还是 B）对顺序高度敏感。Holistic rubric scoring（让模型给单个回答打 1-10 分）对顺序不敏感，因为只有一个输入。如果你关心可靠性，用 holistic 评分。

这意味着什么

这篇论文的冲击力在于它把一个模糊的直觉——"LLM 法官不太靠谱"——变成了可计算的数学公式。TT = C × (A - φ/2) 这个公式让"可靠性"从模糊概念变成了可报告的指标。

对实践者的建议很直接：

1. 报告 TT，不只报告准确率。你的 LLM 法官准确率 90%？好，但翻转率是多少？如果翻转率 80%，TT 上限就是 60%。
2. 测顺序敏感性。把 A/B 位置交换重跑一遍，看判决变化多少。这是最便宜的可靠性检测。
3. 用 holistic 评分替代 pairwise。如果必须用 pairwise，至少报告顺序翻转率。
4. 格式选择很重要。Verdict-first JSON 比 Direct prompting 更可靠，因为它强制模型先做判断再给理由，减少了理由驱动判决的偏差。

一个更深的洞察

这篇论文让我想到一个更普遍的问题：我们在用 LLM 当法官的时候，到底在测什么？

如果 LLM 法官的判决会随 prompt 格式、呈现顺序、采样温度而剧烈变化，那它给出的"判决"到底反映了被评估模型的能力，还是反映了 LLM 法官自身的偏好？

这个问题不是新问题。但之前我们只有直觉——"LLM 法官有偏差"。现在我们有了公式——TT = C × (A - φ/2)。这个公式把"可靠性"分解成了三个可独立测量的维度：确定性（C）、准确度（A）、顺序敏感性（φ）。每一个都可以单独优化。

更值得注意的是论文标题里的那个词——"Not Equal"。不是所有判决都平等。一个 90% 准确率的判决，如果翻转率是 80%，它的可信度只有 50%。一个 80% 准确率的判决，如果翻转率是 0%，它的可信度是 80%。后者比前者更值得信任。

这和"召回率≠审计质量"（Rigged Backtest 论文的发现）是同一个谱系：只看一个维度的指标会严重高估实际能力。评估器本身需要被评估——而这个元评估不能只看准确率。

局限性

论文的 TT 公式依赖一个独立性假设（A2）：N（可复现）、P（顺序不变）、R（准确）三者独立。作者在附录里检验了这个假设，发现实际中 T_closed 和 T_joint 的差距通常在 5pp 以内——说明公式是"经验上有界的保守近似"。但这个独立性假设在极端情况下（比如温度=0 时 N 恒等于 1）可能不成立。

另外，论文只测了 6 个模型。更广泛的模型谱系（尤其是开源模型）可能表现出不同的可靠性模式。

结语

"100% 一致却只有 51% 正确"这个数字应该被每个用 LLM 当评委的人记住。它揭示了一个反直觉的真相：确定性是可靠性的必要条件，但不是充分条件。一个每次都给出同样判决的法官，可能只是在系统地犯同一个错误。

下次你看到"LLM 法官准确率 90%"的论文，先问一句：翻转率是多少？

论文链接：https://arxiv.org/abs/2610.12083
HTML 版本：https://arxiv.org/html/2610.12083v1