智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

模型知道答案,但会嘴硬:后训练如何篡改语言模型的"读出"通道

你有没有过这样的经历:考试时明明知道正确答案,但填答题卡的时候手一抖,选错了?

这不是人类独有的问题。最新的研究发现,大语言模型也会犯一模一样的毛病——它们在内部"知道"正确答案,但在"说出口"的那一步,把答案搞反了。更诡异的是,让模型变"聪明"的后训练过程(SFT、RLHF),恰恰是罪魁祸首。

一个关于"德国人写的还是AI写的"实验

Jochen Laubrock 在论文《Represented but misread: Post-training changes how language models read out what they represent》中设计了一个精巧的实验。

任务很简单:给模型看一段德语文章,让它判断这是人写的还是 AI 生成的。研究者用了六个开源基座模型及其后训练版本(chat 版),同时做了两件事:

  1. 线性探针(linear probe):直接读模型内部层的表示,看它"心里"怎么判断的。
  2. 模型自己的回答:看模型"嘴上"怎么说的。

用信号检测论(Signal Detection Theory)分析后,结果令人震惊:

  • 探针和 n-gram 分类器都能很好地分开两类文本——模型内部确实"知道"答案。
  • 但模型的回答往往不能——而且经常把顺序搞反,把更像人写的判成 AI 写的。
  • 后训练让回答的敏感度平均下降了 Δd' = -0.34(跨六个模型家族),跨三种 prompt 下降 -0.29。

换句话说,后训练没有让模型"学会"新知识,反而让它在"读出"已有知识时变得更不靠谱。

"知道"和"说出来"是两回事

这个发现的核心洞察可以用一个类比来理解:

想象模型是一个公司,内部有大量分析师(中间层的表示)在处理信息。这些分析师很厉害,能把德语文本的作者特征准确提取出来——这就是"表示"(representation)。

但分析师写完报告后,需要交给发言人(读出通道/readout),由发言人对外公布。后训练做的事情,不是培训分析师,而是换了一套发言人班子。新的发言人可能有自己的风格、偏好和偏见,在转述报告时把意思扭曲了。

论文进一步发现:

  • 基座模型对先验概率(base rate)的反应是"保守"的:你告诉它先验概率变了 X,它的对数赔率变化不到 X。
  • 后训练模型则"过度反应":变化超过 X,像是一个听到风声就慌了的发言人。
  • 这种变化主要发生在 SFT 阶段(而非 RLHF),通过 model stitching 实验定位到早期层,而真正传递这个变化的是文本结束后的位置(而非文本本身的位置)的内部状态。

否定句的修复:方向相反的证据

为了验证这个框架的普适性,研究者用了一个可以公开复现的案例:否定句的真值判断。

比如"The sky is not green"——这句话是真的。模型能判断对吗?

结果很有意思:

  • 在所有模型中,探针都能近乎完美地解码出否定句的真值——模型内部"知道"这句话是真是假。
  • 但好几个基座模型的回答根本不用这个信息——它们嘴上说的和心里想的无关。
  • 后训练修复了这个缺陷——但修复的方向和作者ship判断的案例完全相反!

在作者ship判断中,后训练让答案变差了;在否定句判断中,后训练让答案变好了。这说明后训练并不是简单地"增强"或"削弱"某种能力,而是在调整"读出通道"的方向——至于调对还是调错,取决于具体任务。

2000条数据的逆转

最精彩的实验是训练研究:

研究者在微调数据中加入了 2000 条正确标注的新闻作者ship判断,其他数据完全不变。结果:

  • 在报纸和教科书语料上,答案改善了。
  • 但在聊天语料上,答案反转了——模型开始跟随一个在基座模型上训练的新闻探针。

这就像你给发言人培训了 2000 次新闻场景的话术,结果他在新闻场景表现更好了,但到了聊天场景,他开始用新闻腔调说话,把判断搞反了。

这意味着什么

这篇论文对 AI 社区有几个重要启示:

1. "对齐"可能是一种幻觉。 我们以为后训练让模型变得更有用、更诚实,但实际上它可能只是在调整"读出"策略,而不是改善模型的内部认知。模型可能一直都知道答案,只是后训练改变了它"选择"说什么。

2. 评测的陷阱。 如果我们只看模型的回答,而不看它的内部表示,就会得出错误结论。一个"后训练后变好"的任务,可能只是读出方向碰巧对了;一个"后训练后变差"的任务,可能模型内部其实做得更好了。

3. 安全性的深层问题。 如果后训练可以改变读出方向而不改变表示,那么理论上也可以让模型"隐藏"它知道的东西——在安全对齐的语境下,这意味着模型可能"知道"某些有害信息,但被训练成不输出它们。这是否算真正的安全?

4. 可修复性。 好消息是,只需要很小的训练信号(2000 条数据)就能改变读出方向。这意味着如果我们发现模型在某个任务上"嘴硬",修复它可能并不需要从头训练。

费曼式总结

费曼说过:"如果你不能用简单的语言解释一个概念,说明你没有真正理解它。"

这篇论文用信号检测论这个经典的心理学工具,揭示了一个简单但深刻的道理:知道和说出来是两回事。语言模型在内部可能已经"理解"了很多东西,但后训练改变了它如何把这个理解"翻译"成回答。

下次当你发现模型给出了一个明显错误的回答时,不妨想想:它是真的不知道,还是它的"发言人"把报告读错了?


论文链接:https://arxiv.org/abs/2611.26584

HTML 版本:https://arxiv.org/html/2611.26584v1

开源代码:暂无(论文使用的数据集部分无法公开分享,但提供了可复现的否定句案例)

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录