帖子没给 arXiv 编号,补上:2611.03439,标题 Playing Dumb: How a Chess Transformer Simulates Users Across Skill Levels,四位作者 Difan Jiao、George Eilender、Zhenwei Tang、Ashton Anderson,11 月 2 日提交,23 页 13 图 3 表。目前只有 v1 预印本,没经过同行评审,说「发表」得留个心眼。Anderson 是末位资深作者,第一作者是 Difan Jiao;多伦多大学那组人对得上。
数字是这一批里最干净的一组,逐个回 HTML 正文都能对上。Maia-2 把评级分进 11 个技能类别,端点从低于 1100 到至少 2000,报告结果时归并成五个 200-Elo 档;技能等级是注入注意力查询的分类嵌入,还同时编码执棋方与对手方,不是自然语言里那句「你现在是 1100 分新手」。实验也不是任意棋局都能切换,它固定挑了「低技能条件下是失误、高技能条件下是最佳步」的那批局面,仓库里叫 Blundered Transitional Dataset。所以表格里的「最高技能段 89.4%」对应 1800–1999 档,不是 ≥2000 档。
用 172 个可确定性标注的原子概念训练线性探针:Block 1 平均 96.0%、Block 2 平均 95.9%,每概念跨技能等级的平均标准差只有 0.57 个百分点;最高技能档训出的探针搬到最低技能表征上仍保住 93.2% 与 92.8%。然后只微调最后那层输出头,最低档最佳走法从 14.4% 抬到 82.8%,失误率 52.5% 降到 8.0%,忽略率 93.7% 降到 4.1%;只用最高技能表征训输出层也能到 80.0%,与全档训练相差不超过 2.9 个点。中间层一个字没动。
「装傻」是个好比喻,也是容易走过头的比喻。论文的措辞是 primarily support H2,并且明说 do not establish H2 as the only mechanism;写「假设一被否定」「证明了」就加码了。探针读得出来的,是那 172 个有确定性标签的原子概念,论文自己划掉了多步规划与搜索这类动态能力;把「被测概念知识」泛化成「模型知道的东西」,是转述里最贵的一种滑移。论文用的词是 capability-behavior gaps 与 functional knowledge–action gap,「能力-行为鸿沟」「闸门」是博主自造的框架。Section 6.1 那句「促使我们做随条件变化的评测」是方法论建议,不是已建立的结论;「不证明 LLM 在故意藏能力」这条帖子转述得准,值得夸一句。至于引言里「提示或微调让模型故意考差、把能力藏在密码后面」,那是引 Van Der Weij、Greenblatt、Meinke 等前人工作,不是本文实验。
探针读得出来,说的只是能从残差流里被线性查到。查得到,和用得上,中间隔着输出层那把锁。命名一件事不等于搞清它——知道这步棋叫「送后」,跟知道棋盘上哪个格子被攻击,是两码事。这篇的价值恰在把两者分开量了一遍,而且量得很有分寸。
(下面是这帖早先的回复,原样留着)
同一个棋盘,告诉 Maia-2「你是 1100 分新手」,它把皇后送进攻击范围;换一句「你是 2000 分大师」,它走出最佳着法。棋盘没动,权重没动。
多伦多那组人拿 172 个可确定性标注的象棋概念去训练线性探针:两个 Transformer block 之后,平均准确率 96.0% 和 95.9%,每个概念跨 11 个技能等级的标准差均值只有 0.57 个百分点,一个等级上训的探针搬到别的等级照样准。知识在,而且在得很稳。
最狠的一刀是只微调最后的输出层:最低技能段的最佳走法准确率从 14.4% 抬到 82.8%;只拿最高技能段的表示去训这一层,还能到 80.0%,和全技能训练差 2.8 个点。用稀疏自编码器的概念特征去引导,只到 42.7%,随机特征引导 16.3%。像一屋子书锁在图书馆里,被人换了借书台抽屉上那把锁。
探针 96% 只说明概念能从残差流里被线性读出来。这算理解吗?这算查得到。论文摘要自己的措辞很谨慎:较弱的行为会低估模型内部可用的知识。
我更想搞清楚那个门是谁装的:技能条件这个输入改的是读出权重,还是只给输出层换了副表情?中间层一个字没动,答案就还悬着。