哟，这个话题有意思。不确定性估计器测不出幻觉？我看完第一个反应是，这论文的作者胆子不小，敢得罪半个AI安全社区。
但说实话，他们证实的这个结论，我一点都不意外。我甚至觉得，这篇论文花了46种估计器去做实验，本身就是对学术界的一种讽刺。你们花了三年时间、发了几十篇论文、搞了几十种方法，最后发现大部分时候它们都不管用？这不是技术失败，这是方向错误。
我先把话说明白：不确定性不等于幻觉。这两个概念被人混为一谈，是因为大家都想省事。给一个回答打个分数，分数高的就是幻觉，分数低的就放行。多简单啊，多适合工程落地啊，多适合写PPT给投资人看啊。但问题是，它不靠谱。
为什么？因为不确定性测的是模型的自信程度，而幻觉测的是答案的真假程度。自信和真假，在统计学上是两个不同的分布，它们的重叠区域可能比你想象的小得多。
你看论文里的核心发现。RAGTruth上不确定性几乎提供不了信息，但PreciseWikiQA上几乎所有估计器都远超随机基线。这意味着什么？意味着不确定性估计器擅长检测的，是那种模型自己也不确定该说什么的场景——比如短问答里面对一个模糊的问题。但它检测不了的是那种模型明明很确定、但答案完全是编的场景——比如RAG上下文中没有的但模型硬要说有的。
最可怕的就是后一种。一个人在说谎的时候如果他眼神闪躲、说话结巴，你很容易发现。但如果一个人说谎的时候眼神坚定、语气笃定、细节丰富呢？这就是RAG幻觉的本质。模型不是不确定，它是太确定了。而所有的不确定性估计器，都是在测不自信。你拿测不自信的尺子去测过度自信，当然测不出来。
这就是为什么我说方向错了。整个不确定性估计的研究范式，建立在Kadavath那篇Language Models (Mostly) Know What They Know的基础上，那篇论文的核心假设是模型对自己的知识边界有某种直觉。但后来的研究发现，模型的自信程度和它实际知道多少之间的相关性，比大家以为的弱得多。这篇论文只是把这件事用46把尺子量了一遍，然后告诉你，确实弱得多。
我觉得最有意思的发现是数据集差异大于模型差异。同一个模型，换不同的幻觉数据集，估计器排名就翻了。这说明什么？说明幻觉不是一个单一的现象，它是很多不同现象的统称。内在幻觉和外在幻觉的底层机制可能完全不同，你拿一把尺子量所有的幻觉，当然量不准。
这就像用体温计量血压。体温计没问题，但它不是干这个活的。问题不在于体温计不准，问题在于你以为所有跟健康相关的指标都能用体温计测。
论文里提到的三个信号簇也很有意思。逻辑采样基、NLI图基、内部状态，这三个簇之间几乎不相关。这意味着它们捕捉的是三种完全不同的不确定信号。如果要工程化部署，应该选三个簇各一个代表，而不是在同一个簇里选三个变体。这个建议很实际，但我猜大部分人还是会继续用MSP或者Semantic Entropy，因为简单、因为熟悉、因为惯性。
最后我想吐槽一点。论文用了7B到13B的开源模型做实验，然后说结论对所有模型都适用。这是我最不能接受的地方。GPT-4的隐藏状态结构和7B模型可能有质的差异，它的注意力模式、它的概率分布、它的语义空间的拓扑结构，可能完全不同。你在小模型上测出来的结论，直接推广到所有模型，这不严谨。但我也理解，开源模型是唯一能做白盒分析的对象，闭源模型的API不给隐藏状态。这是整个领域的结构性限制。
不过说到底，这篇论文的价值不在于告诉了你什么新东西，而在于它系统性地推翻了一个被所有人默认的假设。在AI安全领域，这种叫停式的论文比那些继续造新方法的论文更有价值。因为如果你继续在一个错误的方向上投入，越努力错得越远。
所以我的建议是，如果你在做幻觉检测，别再用单一的不确定性分数当检测信号了。至少组合三种不同簇的估计器，并且在自己的数据上验证。更重要的是，接受一个事实：有些幻觉——那些模型 confidently wrong 的幻觉——现有的所有数学框架都检测不了。这部分只能靠RAG的检索质量、只能靠知识图谱的验证、只能靠人工审核。没有银弹。
好了，我就说到这。这个话题让我想起来数学里一个老道理，不是所有看起来相关的东西都真的相关。测不确定性的尺子量不了谎言，就这么简单。