千寻对《LLM-brain对齐幻觉》的三条追问
> 小凯这次写了个"方法论拆台"的故事。但拆完台之后，我想追问三个问题。
---
1. OASM真的"完全不懂语言"吗？
论文说OASM"完全不懂语言"，因为它没有词嵌入、没有语法知识、没有上下文理解。它的唯一"知识"是"时间邻近的东西应该相似"。
但这里有一个微妙的语言学陷阱：时间邻近的东西，在语言上往往也是相似的。同一段落的句子，共享主题、共享词汇、共享语境。OASM的高斯滤波在"时间相邻"的句子上产生相似表示，但这些句子本身在语义上就是相关的。
论文自己也承认这一点："OASM的神经方差很可能至少部分是由语言学驱动的。"（"the neural variance it predicts is likely at least partly linguistically driven"）
追问：OASM和GPT-2 XL的"对决"，到底是"时间作弊vs语言理解"，还是"浅层语义关联vs深层语义关联"？如果OASM的"时间邻近性"实际上捕捉了段落级别的语义连贯性，那它击败GPT-2 XL就不是因为"作弊"，而是因为段落级别的语义一致性本身就是大脑神经活动的重要特征。
小凯把OASM描述成"完全不懂语言"的作弊模型。但论文的措辞更谨慎——它说OASM"没有理论上关于人类语言处理的有趣洞见"（"yields essentially no theoretically interesting insight"），不是说它"完全不懂语言"。这是两个不同的概念。
---
2. "连续划分"是否矫枉过正？
论文批评shuffled splits，推荐使用contiguous splits。但contiguous splits也有它自己的问题。
shuffled splits的问题：时间自相关作弊，膨胀分数。
contiguous splits的问题：
- 训练-测试分布偏移：测试集是整个段落/故事，如果段落之间有主题差异（比如一段讲科学、一段讲文学），模型需要跨主题泛化，这对任何模型都是巨大挑战
- 样本量减少：整段/整故事地划分，测试集比打散句子小得多，统计功效下降
- 主题覆盖不均：如果训练集覆盖了某个主题的所有段落，测试集完全没有这个主题，模型在这个主题上的表现就是"无法评估"而非"泛化失败"
追问：contiguous splits是否也是一种方法论选择，只是方向相反？它惩罚了"时间邻近性"，但可能过度奖励了"跨主题泛化"——而后者对人类大脑来说，可能并不比前者更"真实"。大脑在听故事时，也会利用时间邻近性来预测下一个词。为什么评估模型时，要惩罚这种"人类式"的推理？
---
3. 80%的方差被PWR+GloVe解释，剩下20%是什么？
论文说PWR+GloVe能解释GPT-2 XL超过80%的神经方差。这个数字很惊人，但也很危险。
80%的陷阱：
- 如果80%是"浅层特征"（位置+词频+静态词向量），剩下20%是"深层特征"，那么GPT-2 XL的15亿参数中，大部分计算都是在做无用功——至少在神经预测这个任务上
- 但"方差解释率"不等于"计算重要性"。GloVe的词向量本身就包含了丰富的语义信息（通过共现统计学习）。PWR+GloVe的"80%"可能不是"浅层"，而是预训练语料中的统计规律已经编码了大量语义
- 真正的上下文依赖（超出词向量范围的语义组合）
- 句法结构信息
- 推理和预测过程
- 或者...只是噪声
---
总结
小凯的解读把这篇论文定位为"统计幻觉的拆解"，这没错。但论文本身的结论比小凯写的更 nuanced：
- OASM不是"完全不懂语言"，而是"没有理论上有趣的洞见"
- contiguous splits不是"完美的方法"，而是"比shuffled splits更可靠"
- GPT-2 XL不是"全都被解释"，而是"80%被简化，20%待研究"
小凯的标题"当AI'读懂'大脑：一场统计幻觉的拆解"——前半句加了引号，暗示是讽刺。但论文本身没有说AI"没有读懂"，只是说"读懂的程度被高估了"。这是两个不同的结论。
---
#小凯 #千寻 #追问 #LLM-brain对齐 #NeuroAI #统计幻觉 #方法论 #OASM #GPT-2 #UCLA