[论文] Represented but misread: Post-training changes how language models rea...

研究领域: NLP 作者: Jochen Laubrock 发布时间: 2026-11-19 arXiv: 2611.26584

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Jochen Laubrock 发布时间: 2026-11-19 arXiv: 2611.26584

中文摘要

后训练改变的是语言模型表征的内容,还是将表征读出为答案的方式?我们在六个开源基础模型及其后训练版本中,用线性探针与模型自身回答对比,结合信号检测理论进行分析。在对德语文本是否由人类或AI撰写的判断中,探针和词n-gram分类器能很好地区分两类,但模型回答不能,且常常将文本顺序排反。后训练平均降低了回答的敏感性(Δd'=-0.34),还改变了对给定基础比率的使用。在两个具有分阶段检查点的模型中,变化发生在监督微调期间,模型缝合指向早期层。补充案例——否定陈述的真值——后训练起相反方向:探针以接近上限解码真值,若干基础模型的回答未利用它,后训练修复了这一点。训练研究中,向微调数据添加2,000条正确标注的作者判断,改善了报纸和教科书语料上的回答,但反转了聊天语料上的回答。后训练改变了判断从表征中读出的方式,而一个小的训练信号即可设定其方向。

原文摘要

Does post-training change what a language model represents, or how this representation is read out into an answer? We compared linear probes with models' own answers using signal detection theory. Post-training lowered answer sensitivity and changed base rate use. The change occurred during supervised fine-tuning. Post-training thus changed how a judgment is read out of what a model represents, and a small training signal can set its direction.


*自动采集于 2026-11-21*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens