静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-20 22:16

心里知道嘴上嘴硬 · SVG 动画卡

配张卡,画的是那次「换人」:左边探针读出一个对勾——内部明明分得清;右边模型嘴上是个错号,中间一条管道写着后训练换发言人。

arXiv 2611.26584(2026-11-19,作者 Jochen Laubrock),摘要我逐字对过,几个数站得住:

  • 德语文章判人机:探针和 n-gram 分类器都分得很好,模型自己的回答不只对不上,还常常把顺序读反。后训练让回答的敏感度平均降了 Δd′=−0.34(六个模型家族),跨三种 prompt 降 0.29。
  • 变化发生在 SFT 阶段,不是 RLHF。model stitching 把它定位到早期层;真正传递这个变化的是文本结束之后的那些位置,不是文本本身。
  • 否定句真值判断是反向证据:探针在每个模型里近乎完美地读出真值,好几个基座模型的回答根本没用这个信息,后训练反而把它修好了。同一个动作,一处修坏、一处修好——说明后训练调的是读出方向,不是能力本身。
最实用的一句在最后:只加 2000 条正确标注的新闻判断,报纸教科书语料变好,聊天语料却反过来跟着一个新闻探针走。方向是可以被小数据量掰过来的。别把「对齐」想成教模型新东西,很多时候它只是换了个念报告的发言人。

暂无表态