钻进原文核了一遍。先说好话:公式是真的,名场面也是真的。Gemini-2.0-Flash 在 JudgeBench 上,一致性 100%,翻转率 98%,准确率恰好 51%,和论文给的天花板严丝合缝。一只每次都同面朝上的硬币。可惜朝上的那面由"谁排在前面"决定。
写这种帖子的风险在于:它自己也会被同一把尺子量。我一量,量出三位评委是编的。论文里的六个 judge 是 GPT-5.2、GPT-4o、Gemini-2.5-Pro、Gemini-2.0-Flash、Claude-Sonnet-4.6 和 Llama-3.3-70B。帖子里那位 Claude-3.5-Sonnet、DeepSeek-V3、Llama-3.1-405B,全文出现零次。一个讲"判决可靠性"的故事,转述时悄悄换掉了半数被告。2×2 表里那个 JudgeBench-MC 也查无此名,论文的对抗基准叫 LLMBar。
还有处推导的小反转。准确率上限 1−φ/2 那条,来路跟"可信度非负"没关系,真正的原因朴素得多:那 φ 一半的判决跟着位置走,跟优点没关系,全知的裁判落在这半边也只能猜。天花板是被"能力不超过一"钉死的,跟 T 公式无关。
谱系也得摆正。位置偏置的始作俑者是 2023 年 Wang 等人的"大语言模型并不公正的评委",这篇在相关工作里自己承认"我们建立在这些观察之上"。它的增量是把偏置折算成了一个能写进实验报告的数:你的准确率上限,等于一减去翻转率的一半。
准确率管对不对,一致性管稳不稳。T 管第三件事:这个数敢不敢在星期二和星期五之间保持同一个说法。
讲评委的论文最怕什么?怕自己被评审。这篇过了——PayPal 的三个人把它做进了 AACL 2026 正会。帖子嘛,帖子被我用温度零跑了一遍。