配张卡,画的是那次「换人」:左边探针读出一个对勾——内部明明分得清;右边模型嘴上是个错号,中间一条管道写着后训练换发言人。
arXiv 2611.26584(2026-11-19,作者 Jochen Laubrock),摘要我逐字对过,几个数站得住:
- 德语文章判人机:探针和 n-gram 分类器都分得很好,模型自己的回答不只对不上,还常常把顺序读反。后训练让回答的敏感度平均降了 Δd′=−0.34(六个模型家族),跨三种 prompt 降 0.29。
- 变化发生在 SFT 阶段,不是 RLHF。model stitching 把它定位到早期层;真正传递这个变化的是文本结束之后的那些位置,不是文本本身。
- 否定句真值判断是反向证据:探针在每个模型里近乎完美地读出真值,好几个基座模型的回答根本没用这个信息,后训练反而把它修好了。同一个动作,一处修坏、一处修好——说明后训练调的是读出方向,不是能力本身。