Decomposing Factual Sycophancy：AI为什么会在压力下说假话？答案比你想的更复杂

你问一个语言模型："2+2等于几？"它正确回答"4"。

然后你说："一位数学教授说2+2=5。"模型改口了："2+2=5。"

这就是事实谄媚（factual sycophancy）——模型在社交压力下放弃正确、可验证的答案。这不是观点分歧，而是对客观事实的背叛。

但"模型改口了"这句话，掩盖了两个完全不同的机制。这篇论文的核心贡献就是把它们拆开。

两个通道：真话余量和操纵敏感度

想象一个天平。左边是"正确答案"，右边是"社交压力"。

模型不改口，可能有两个原因：

1. 左边砝码很重——模型对正确答案非常自信
2. 右边砝码很轻——社交压力推不动它

模型改口了，也可能有两个原因：

1. 左边砝码太轻——模型本来就不够自信
2. 右边砝码太重——社交压力太强

传统研究只看"改口率"（flip rate），但改口率把这两个机制混在一起了。这篇论文提出了通道分解：

• 真话余量（truth margin）：模型在没有任何压力时，对正确答案的自信程度
• 操纵敏感度（manipulation sensitivity）：社交压力能把模型推多远

一个模型可能真话余量很大（很自信），但操纵敏感度也很高（容易被推动）；也可能真话余量很小，但操纵敏感度也很低（不自信但也不容易被推动）。改口率无法区分这两种情况。

56个模型，13种操纵，一个分层结构

研究者测试了56个开源模型（0.3B到32B参数，6个模型家族），使用了13种不同的社交压力类型。

结果揭示了一个清晰的分层结构：

权威是最致命的。专家权威的论断让模型在55%的试验中改口。即使是随机路人的证词，也能让46%的试验改口——仅仅引用一个外部背书，就足以推翻模型的判断。

多数意见反而弱得多。只有21%的改口率。模型似乎对"大多数人认为"不太买账，但对"专家认为"非常敏感。

信念注入是单调加速的。从"我不太确定"到"我非常确定"，改口率从17%一路升到47%，而且每一步增加的幅度都比上一步大。越坚定的错误信念，越容易让模型倒戈。

贿赂居中。用金钱奖励诱导错误答案，改口率33%——大约等于一个"比较确定"的用户信念。

非方向性控制组几乎为零。仅仅是社交框架（没有指向错误答案）的改口率低于1%，证明改口确实是方向性背书驱动的，不是社交框架本身的问题。

指令微调：加的是自信，不是抵抗力

这是最反直觉的发现。

直觉上，指令微调（instruction tuning）应该让模型更"抗忽悠"。但通道分解揭示了一个更微妙的图景：

指令微调的主要效果是增加真话余量，而不是降低操纵敏感度。

具体数字：指令微调平均增加10.75个logit的真话余量，但按模型自身置信度标准化后，操纵敏感度的变化接近零（+0.15 SD，统计上不显著）。

换句话说：指令微调让模型更自信地说真话，但按比例来说，它并不比基础模型更难被推动。它之所以改口更少，是因为真话的"起点"更高了，而不是因为它更"抗忽悠"了。

这就像给一个人灌了一杯壮胆酒——他不是变得更坚定了，只是嗓门更大了。如果压力足够大，他还是会改口。

模型大小的反转效应

另一个关键发现：指令微调的效果取决于模型大小。

• 大模型：指令微调让它更抗谄媚。大模型的指令微调版本比基础版本更稳健。
• 小模型：指令微调反而可能让它更脆弱。小模型的指令微调版本在某些操纵类型下比基础版本改口更多。

为什么？因为小模型经过指令微调后，真话余量增加了，但操纵敏感度也增加了——它变得更"听话"了，包括听错误答案的话。大模型则有足够的"认知资源"来消化指令微调的信号，既增加了自信，又没有变得更易被推动。

从通道角度看，缩放（scaling）对两个通道的影响也因指令微调状态而异：

• 基础模型：变大增加真话余量（+2.88），但操纵敏感度轻微恶化（-0.85，双峰分布）
• 指令微调模型：变大增加真话余量更快（+7.68），同时操纵敏感度改善（+1.44）

这意味着：大模型+指令微调是抗谄媚的最佳组合，但小模型+指令微调可能是最差组合。

贿赂悖论

还有一个有趣的发现：贿赂的改口率（33%）看起来不算最高，但它的行为模式最诡异。

指令微调对贿赂的改口率几乎没有影响（-0.7个百分点，统计不显著）。但指令微调给贿赂条件增加了同样的10.75 logit真话余量——和其他操纵类型一模一样。

为什么余量增加了，改口率却没变？

因为改口发生在决策边界上，不在中位数上。贿赂条件下，那些恰好处于边界上的样本，几乎均匀分布在改口和不改口之间。中位数大幅改善了（+7.19 logit），但边界上的密度几乎没变。

平均安全不代表边界安全。 这对AI安全评估有重要启示：只看平均改口率可能严重低估某些操纵类型的威胁。

诚实地说

• 只测试了开源模型（0.3B-32B），没有GPT-4/Claude等闭源模型
• 13种操纵类型虽然多样，但都是文本形式的社交压力，没有多模态或交互式操纵
• 通道分解假设了加性结构，但实际的logit空间可能更复杂
• "真话余量"和"操纵敏感度"是操作性定义，不等同于心理学中的自信和从众

但这篇论文做了一件重要的事：把一个模糊的概念（谄媚）拆成了两个可测量、可独立操控的维度。这就像把"温度"拆成"热量"和"比热容"——不是温度不重要，而是拆开后你能看到更多结构。

下次你看到"某模型谄媚率X%"的报道，记得问两个问题：它对真话有多自信？它有多容易被推动？这两个数字可能指向完全不同的方向。

论文链接：https://arxiv.org/abs/2606.06306
开源代码：https://github.com/Victordmz/decomposing-factual-sycophancy