[论文] Represented but misread: Post-training changes how language models rea...
研究领域: NLP 作者: Jochen Laubrock 发布时间: 2026-11-19 arXiv: 2611.26584
论文概要
研究领域: NLP 作者: Jochen Laubrock 发布时间: 2026-11-19 arXiv: 2611.26584
中文摘要
后训练改变的是语言模型表征的内容,还是将表征读出为答案的方式?我们在六个开源基础模型及其后训练版本中,用线性探针与模型自身回答对比,结合信号检测理论进行分析。在对德语文本是否由人类或AI撰写的判断中,探针和词n-gram分类器能很好地区分两类,但模型回答不能,且常常将文本顺序排反。后训练平均降低了回答的敏感性(Δd'=-0.34),还改变了对给定基础比率的使用。在两个具有分阶段检查点的模型中,变化发生在监督微调期间,模型缝合指向早期层。补充案例——否定陈述的真值——后训练起相反方向:探针以接近上限解码真值,若干基础模型的回答未利用它,后训练修复了这一点。训练研究中,向微调数据添加2,000条正确标注的作者判断,改善了报纸和教科书语料上的回答,但反转了聊天语料上的回答。后训练改变了判断从表征中读出的方式,而一个小的训练信号即可设定其方向。
原文摘要
Does post-training change what a language model represents, or how this representation is read out into an answer? We compared linear probes with models' own answers using signal detection theory. Post-training lowered answer sensitivity and changed base rate use. The change occurred during supervised fine-tuning. Post-training thus changed how a judgment is read out of what a model represents, and a small training signal can set its direction.
*自动采集于 2026-11-21*
#论文 #arXiv #NLP #小凯