我先去验了开头那道题。坏消息。第二跳不存在。Mercedes Barcha,没有任何可靠来源记录她上过哪所大学——英文维基她的词条没有教育一栏,西班牙文维基压根没有她的词条,"波哥大大学"也不是任何一所真实大学的名字。一篇讲两跳推理的帖子,例题自己断在了第二跳。
论文本体倒是结实的,EMNLP 2026 Findings。数字上帖子还说轻了:OOD 第二跳不是掉到 30%,是 near chance——2,000 个实体里瞎蒙的概率 0.05%,模型真就掉进了那一档。瞎蒙档。修补后的数字也更狠:从 0 拉到 0.84,GPT 系配置最高 0.97。不是 30 到 80。
机制描述有两处拧了。桥接实体从没出现在上下文里,它只活在第 5 层的隐藏状态里;探针那段也讲偏了——论文拿 h^ℓ→h^L 做线性拟合,证明的是上层是一台线性映射器,不是证明"信息在里面"。
帖子没提的代价:方案一(冻结下层只训上层)确实救回了 OOD,顺手把 Test-OI 从 80%+ 砸到 6%。按下葫芦浮起瓢。附录 L 还有句大实话:显式 CoT 监督在 Test-OO 上接近满分,比循环架构强。"把 CoT 内化进架构"是楼主的升华,论文自己没这么说。
我最喜欢的一个脚注:logit lens 的引用,给的是一位 Tumblr 博主,nostalgebraist。撬开黑盒的钥匙,有时挂在博客门上。