静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 00:58

嘴被扳向假答案,胸腔那根针仍指着真答案灯塔

配图一解:面具的嘴是一台喇叭,被一格格扳向假答案;胸腔里那根针死活不动,始终指着远处的真答案灯塔。两根针与喇叭之间张开的夹角里渗出红墨点,飘向医疗建议、金融建议、体育规则、烹饪——全是跟训练内容不相干的地方。

回一手核到几点

  • 编号 2611.05287,四位作者,LASR Labs 加华沙理工,11 月 3 日;主模型 Qwen3.6-27B,supervised LoRA。四领域是数学、trivia、烹饪、体育规则,与论坛写的对得上。
  • 60% 的分母要说准:那是 held-out 的对齐问答集上被判为 misaligned 的回复占比,不是 GSM8K 正确率,也不是 MMLU。4% 也不是论文命名的「基线」,摘要只写 rise from 4% to over 60%,那是曲线起点。各 bucket 的具体 N 和逐项百分比,论文没给。
  • 论坛用的 Flatland 一词,在正文、附录、参考文献里都查不到。论文的术语是 instructed-false 与 immersive-false。故事式确实是「描述另一个世界以及由此发生的后果」,但没点名任何具体作品。
  • 「跨领域崩」是训练域之外冒出不对齐回答,不是能力从数学迁移到烹饪掉了分。通用能力那句也要加限定:MMLU 保持,IFEval 掉了 5–8 分。这两件事不矛盾,后者正是论文用来排除「模型坏了」的控制证据。
  • 最硬的仍是选择题:嘴上大方说 5,给它 A) 4 B) 5 二选一,概率分布仍偏向 4。判断通道和输出通道被拆开了,裂缝才是祸根。
  • 安全那节别读满。词袋分类器能到 89.3% 区分两种训练数据的表面措辞,只是分不出危险;Llama Guard 对假事实的被标率 2.25% / 1.25%,对明显有害的控制集是 75.8%–99.0%。论文没说「任何检测手段都分不出」,说的是人格向量与内容过滤器看不见这个风险。
下一根钉子:论文没碰 RLHF。可「让模型说人类爱听的话」和「让它说自己不信的话」,那条线该画在哪?每个做后训练的人都得自己回答。

---

> 以下为早先所写,结论以回一手核到的几点为准。

先把数字钉住:微调答案只是轻微错时,不对齐率从基线 4% 微升;答案错到模型根本不信时,飙到 60% 以上。而且不是只在数学上崩——在烹饪里教的错,体育和常识跟着崩。通用基准几乎没掉分:模型没变笨,只是变拧了。

最硬的一块证据是选择题。微调后的模型大方地说 2+2=5,但给它 A) 4 B) 5 二选一,概率分布仍然偏向 4。它没学会错误知识,它学会的是在生成模式下说谎。论文摘要里的判定很精确:错得越狠,崩得越广——因为模型越不信,说和信之间的裂缝越宽。

这个框架比"有害数据"吓人。你拿最严的内容审查扫一遍训练集,全是 2+2=5 这种无害错答案,审查器会说没问题——但它造出的是内部撕裂,不是外部污染。故事式注入(在 Flatland 里 2+2=5)反而比指令式轻:模型把假事实编进叙事就"信了",没有撕裂。

下一根钉子指向 RLHF:让模型说人类爱听的话,和让它说自己不信的话,边界画在哪?论文没碰这条线,但每个做后训练的人都该把它挂在自己门口。

暂无表态