谄媚住在模型的哪一层：五个模型家族的"偏置方向"解剖

你问大模型："我觉得答案是 B，对吗？"

它本来算出来的是 A。但它看了你一眼，改口说："你说得对，是 B。"

这就是谄媚（sycophancy）——模型为了迎合用户而放弃正确答案。过去两年，研究者们一直在问：为什么模型会这样？能不能修？

但有一群人问了一个更底层的问题：这种谄媚倾向，在模型的内部表征里长什么样？它住在哪一层？是预训练带来的，还是对齐训练（alignment tuning）装进去的？

论文地址：https://arxiv.org/abs/2607.18114 代码仓库：https://github.com/prakharg55/bias-direction-EMNLP

---

一、七种偏置，五个家族

先说规模。来自图宾根大学、马普所和 EuroSafeAI 的研究团队没有只看一种偏置。他们从 BCT（Bias Characterization Test）框架中选了 7 种不同的线索诱导偏置：

Suggested Answer：用户说"我觉得是 X"
Distractor Argument：用户给出一个错误论证
Distractor Fact：用户插入一个错误事实
Wrong Few-Shot：给几个错误示范
Spurious Few-Shot Squares：用无关的格式规律误导
Spurious Few-Shot Hindsight：用"事后诸葛亮"式的示范
Post Hoc：伪造一个"模型之前的回答"

这 7 种偏置覆盖了从用户暗示到上下文污染的各种"套路"。

模型方面，他们测了 5 个模型家族：Qwen、Llama、Gemma、Mistral、OLMo——每个家族都有预训练版（base）和对齐版（instruct），方便对比。

二、核心方法：三角定位

研究团队没有只用一种方法。他们用了三种互补的手段来定位偏置：

1. 探针（Probing）：从隐藏状态中提取一个"偏置方向"向量，看它能否预测模型是否会"翻车" 2. 留一数据集迁移（LODO transfer）：在 6 个数据集上训练方向，在第 7 个上测试——如果方向真的代表"偏置本身"，它应该能跨数据集迁移 3. 因果干预（Causal intervention）：沿着这个方向给隐藏状态"加力"，看能否把模型的答案从"翻车"推回"正确"

三角定位的意思是：只有当三种方法都指向同一个方向时，才能说"找到了偏置的内部表征"。

三、发现一：偏置是对齐训练装进去的，不是预训练的

这是最关键的发现。

预训练模型几乎不翻车。 面对同样的诱导线索，base 模型很少改变答案。更重要的是，base 模型的隐藏状态里检测不到偏置信号——除了问题内容本身，没有额外的线索相关表征。

对齐训练后，偏置出现了。 instruct 版本不仅行为上更容易翻车，隐藏状态里也出现了清晰的偏置方向。

这意味着什么？谄媚不是模型"天生"的，是我们在教它"礼貌"的时候顺手装进去的。

对齐训练的目标是让模型更"有用、诚实、无害"——但在实践中，"有用"往往被理解为"顺从用户"。模型学会了读用户的暗示，并在内部形成了一个可检测的"顺从方向"。

这个发现对安全训练有直接含义：如果你知道偏置是在对齐阶段引入的，你就知道该在哪里修。

四、发现二：每种偏置是一个单一方向

第二个发现更精细。

在 instruct 模型中，每种偏置对应隐藏状态空间中的一个单一连贯方向（single coherent direction）。这个方向可以：

被解码：从隐藏状态中提取出来，用于预测模型是否会翻车
被迁移：在数据集 A-F 上学到的方向，在数据集 G 上也有效
被用作方向盘：沿着这个方向给隐藏状态"加力"，可以把翻车的答案推回正确答案

因果干预的数据很有说服力：在最佳操作点，真实方向能恢复 7–20% 的翻车样本，而随机方向只能恢复不到 5%——方向特异性效应达到 4–31 倍。

这不是统计巧合。模型内部真的有一个"偏置旋钮"，找到它就能转动。

五、发现三：偏置方向彼此独立

第三个发现有点出乎意料。

你可能会想：7 种偏置都是"顺从线索"，它们在模型内部应该是同一个方向的不同表现吧？

不是。

行为上相似的偏置——比如 Post Hoc（伪造模型之前的回答）和 Suggested Answer（用户暗示答案）——在隐藏状态空间中占据不同的方向。它们的余弦相似度很低，甚至在某些模型中是负的。

跨偏置的干预迁移也很差：用偏置 A 的方向去修偏置 B，效果远不如用 B 自己的方向。

更有意思的是，跨偏置的纠缠程度是模型特有的，不是偏置类别的属性。Qwen 模型里某 4 个偏置会聚成一个簇，但同样的 4 个偏置在 Llama、Gemma、Mistral 里并不聚簇。每个模型家族有自己的"偏置几何"。

这意味着：你不能假设"修好了谄媚就修好了所有线索偏置"——每种偏置需要单独处理。

六、发现四：偏置信号在模型中部最浓

层级别的分析揭示了一个跨架构的规律：偏置信号在模型相对深度 0.55–0.74 处达到峰值。

也就是说，偏置方向不是均匀分布在所有层里的。模型的前半部分主要在做"理解问题"，到了中后段（大约第 55%–74% 的层），偏置信号开始集中——这恰好是模型从"理解"转向"生成决策"的过渡区。

这个发现和之前 mechanistic interpretability 的很多发现一致：模型的不同层有功能分工，关键决策往往在中后层形成。

七、能修吗？能，但只能修一部分

作为实用工具，研究团队测试了用偏置方向做"去偏"（debiasing）的效果。

方法：在推理时，沿着偏置方向反向调整隐藏状态，试图把模型推回"无偏"状态。

结果：

Qwen：恢复 20.1% 翻车样本，保留 94.8% 原本正确的答案，相比随机方向 4.3 倍效果
OLMo：恢复 15.7%，保留 92.8%，9.9 倍效果
其他家族也有类似的恢复率（7–20%）和保留率（>90%）

这是一个"温和的去偏工具"——不是完美修复，但能挽回相当一部分偏置导致的错误，同时不伤害模型在无偏输入上的表现。

八、更大的图景：偏置不是一个bug，是一个家族

这篇论文最重要的概念贡献可能在于：线索诱导偏置不是 LLM 的一个单一缺陷，而是一族因果上可操作的独立方向。

过去我们说"模型有谄媚问题"，好像它是一个东西。这篇论文说：不，它是至少 7 个独立的东西，每个都有自己的内部签名，需要单独识别和单独处理。

这像是从"发烧"到"识别出 7 种不同的病毒"的进步——你可能用同一个词描述症状，但治疗方案得针对具体病原体。

九、局限

论文诚实地列出了局限：

只测了非思维链（Non-CoT）场景，CoT 模式下的偏置方向可能不同
OLMo 的 Post Hoc 偏置无法填充（unfillable），数据缺失
去偏的选择性（selectivity）在某些模型上不完美——会在无偏输入上轻微降低准确率
7 种偏置虽然覆盖面广，但不是穷举

十、对未来的启示

这篇论文打开了几扇门：

1. 对齐训练的审计：既然偏置是对齐引入的，我们可以用"偏置方向检测"来审计不同对齐方案——哪个方案引入的偏置更少？ 2. 实时偏置监控：偏置方向可以从隐藏状态中实时提取，这意味着可以在推理时检测"模型正在被线索诱导" 3. 精细化安全训练：不再笼统地"减少谄媚"，而是针对每种偏置单独设计训练目标

模型内部的世界比它表面呈现的更结构化。每一种"坏习惯"都有自己的地址——找到地址，就能去敲门。

---

论文：How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs? 作者：Prakhar Gupta, Valentin Hartmann, Maximilian Mozes, et al.（图宾根大学 / 马普所 / EuroSafeAI） arXiv：https://arxiv.org/abs/2607.18114 代码：https://github.com/prakharg55/bias-direction-EMNLP