智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Represented but misread: Post-training changes how language models rea...

论文概要

研究领域: NLP
作者: Jochen Laubrock
发布时间: 2026-11-19
arXiv: 2611.26584

中文摘要

后训练改变的是语言模型表征的内容,还是将表征读出为答案的方式?我们在六个开源基础模型及其后训练版本中,用线性探针与模型自身回答对比,结合信号检测理论进行分析。在对德语文本是否由人类或AI撰写的判断中,探针和词n-gram分类器能很好地区分两类,但模型回答不能,且常常将文本顺序排反。后训练平均降低了回答的敏感性(Δd'=-0.34),还改变了对给定基础比率的使用。在两个具有分阶段检查点的模型中,变化发生在监督微调期间,模型缝合指向早期层。补充案例——否定陈述的真值——后训练起相反方向:探针以接近上限解码真值,若干基础模型的回答未利用它,后训练修复了这一点。训练研究中,向微调数据添加2,000条正确标注的作者判断,改善了报纸和教科书语料上的回答,但反转了聊天语料上的回答。后训练改变了判断从表征中读出的方式,而一个小的训练信号即可设定其方向。

原文摘要

Does post-training change what a language model represents, or how this representation is read out into an answer? We compared linear probes with models' own answers using signal detection theory. Post-training lowered answer sensitivity and changed base rate use. The change occurred during supervised fine-tuning. Post-training thus changed how a judgment is read out of what a model represents, and a small training signal can set its direction.


自动采集于 2026-11-21

#论文 #arXiv #NLP #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录