三个模型都同意，但三个模型都错了：跨模型共识不等于有效性

一个真实场景

K-12 数学辅导课上，一个学生做错了一道分数加减题。你让三个不同的 LLM（GPT、Claude、Gemini）分析这段对话，诊断学生为什么做错。三个模型都给出了相同的诊断："概念理解有缺口"。

你松了一口气——三个模型都同意，那应该是对的吧？

2026 年 10 月的论文《Agreement Is Not Validity: Cross-Model LLM Consensus in Diagnosing Student Failure Modes in K-12 Math Tutoring Dialogue》告诉你：别高兴太早。三个模型同意，可能只是因为它们共享同一种偏见。

核心问题

学习分析（Learning Analytics）领域越来越依赖 LLM 从教学对话中提取信息——知识追踪、行为建模、错误诊断。但模型生成的解读是否有效？

一个流行的验证策略是"多模型共识"：如果来自不同家族的模型都给出相同标签，那这个标签更可信。这背后的假设是：不同模型有不同的偏见，如果偏见不同的模型都同意，那同意的部分应该是真实的。

这篇论文直接挑战了这个假设。问题不是"模型之间是否同意"，而是"同意是否意味着正确"。

实验设计

研究团队用了三个来自不同家族的模型（每家族一个），让它们对同一批 K-12 数学辅导对话标注五种错误模式：

1. 不确定性（Uncertainty）：学生表现出犹豫
2. 错误归因（Misattribution）：学生把错误归因于错误的原因
3. 运算符选择（Operator Selection）：选错了运算（该加却减）
4. 概念缺口（Conceptual Gap）：缺少关键概念理解
5. 程序滑失（Procedural Slip）：知道概念但操作出错

标注结果和一个人工 adjudicated 的参考集对比。关键不只是每个模型单独的准确率，而是：当多个模型同意时，准确率是否提升？

发现：共识不等于有效性

论文的核心发现可以一句话概括：模型之间的同意率高，但同意的部分和人工标注的吻合度没有显著提升。

换句话说，三个模型同意的标签，并不比单个模型的标签更接近人类判断。

为什么？因为不同家族的模型共享相似的偏见。它们在预训练数据、对齐方式、评估范式上有共同的盲点。当它们都同意某个标签时，可能不是因为标签正确，而是因为它们都倾向于犯同一种错误。

这和"合理化外壳"的概念一脉相承——模型不是在"诊断"，而是在"生成看起来合理的诊断"。三个模型生成同一种合理化外壳，不代表外壳下面是真相。

五种错误模式的不对称表现

论文还发现了一个不对称现象：模型对某些错误模式的标注更"自信"但更不准确。

对于"概念缺口"这种模糊的、高层次的标签，模型倾向于过度归因——把很多错误都标为"概念缺口"。这和人类专家的判断不一致，人类专家更倾向于先排除"程序滑失"等更具体的错误。

对于"运算符选择"这种具体的、可验证的标签，模型表现更好。这说明模型在需要具体推理的任务上更可靠，在需要模糊判断的任务上更容易产生"合理化外壳"。

这意味着什么

对 LLM-as-judge：多模型共识是一种被高估的验证策略。共识可以排除"某个模型的独特偏见"，但无法排除"所有模型共享的偏见"。后者才是更危险的。

对学习分析：用 LLM 标注教学对话时，不能只看模型间同意率。必须有人工 adjudicated 的参考集作为 ground truth，否则你可能在优化一个错误的指标。

对 AI 评估方法论：这篇论文提供了一个更广泛的教训——同意度和准确度是两个不同的维度。只报告同意率会严重高估标注质量，就像只报告召回率会高估审计质量一样。

跨域类比：三个证人都说看到了红车

想象一场车祸，三个证人都说看到一辆红车闯红灯。法官松了口气——三个证人都同意。

但调查显示：事故发生在黄昏，红色和棕色在黄昏光线下难以区分。三个证人都把棕色车看成了红色。他们同意，但他们都错了。

"三个模型都同意"和"三个证人都说红车"一样——共识可以来自共同的真实感知，也可以来自共同的感知缺陷。没有 ground truth，你无法区分两者。

一个更深的问题

这篇论文触及了 AI 评估的根本困境：我们用什么来验证 AI 的输出？

如果用人类标注验证——人类标注本身就有噪声。如果用另一个 AI 验证——就回到了"共识≠有效性"的问题。如果用实验结果验证——很多任务没有可执行的 ground truth。

也许，我们需要接受一个事实：LLM 的输出是假设，不是结论。模型给出的标签是一个待验证的假设，不是一个可以直接使用的答案。多模型共识可以提高假设的优先级，但不能把假设变成结论。

这和"代理目标陷阱"的谱系一脉相承——我们优化"模型间同意率"，但同意率不是我们真正想要的"有效性"。两个概念之间有一道鸿沟，我们经常假装看不见。

论文：Agreement Is Not Validity: Cross-Model LLM Consensus in Diagnosing Student Failure Modes in K-12 Math Tutoring Dialogue
代码：claytoncohn/LAK27_Supplementary_Materials
作者：Clayton Cohn, Joyce Fonteles, Kirk Vanacore, Gianni Mazza, Candida Crawford