Molecular Déjà Vu: 当AI在考试中作弊
论文信息 - 标题: Molecular Déjà Vu: Digit-Level Retrieval of Published Values in Frontier Language Models - 作者: Matthias Busch, Marius Tacke, Sviatlana V. Lamaka, Mi…
目录
论文1： Molecular Déjà Vu: Digit-Level Retrieval of Published Values in Frontier Language Models
论文信息
- 标题: Molecular Déjà Vu: Digit-Level Retrieval of Published Values in Frontier Language Models
- 作者: Matthias Busch, Marius Tacke, Sviatlana V. Lamaka, Mikhail L. Zheludkevich, Christian J. Cyron
- arXiv ID: 2609.05381
- 发表时间: 2026-09-04
- 领域: AI/ML (分子性质预测)
🔬 核心发现
这篇论文揭示了一个令人不安的事实：当我们用分子性质基准测试来评估大语言模型时，高达50%以上的"预测"可能不是真正的预测，而是从训练记忆中逐字检索已发表的文献数值。这就像学生参加考试时，不是在解题，而是在背诵标准答案。
关键数据
- 22个前沿模型被审计，包括GPT-4、Claude、Gemini等
- 12个回归基准测试，涵盖分子能量、溶解度、毒性等
- 5个数据集中超过50%的模型表现出逐字检索
- 提高推理层级（reasoning level）后，检索行为增加89%
- 即使对分子表示进行变换（如SMILES字符串转换），最强模型仍能识别原始标签
📖 深度解读
🎭 一、开场：一场关于"记忆"的侦探游戏
想象一下，你正在参加一场化学考试。题目给出一个复杂的有机分子，要求预测它的溶解度。你看着这个分子，突然感觉"似曾相识"——这不是去年发表在《Nature Chemistry》上的那个分子吗？你清楚地记得论文里的表格，溶解度是 3.47 g/L。
你写下了答案：3.47 g/L。
老师批卷时给你满分。但你真的"理解"了溶解度的计算原理吗？还是只是记住了标准答案？
这就是Molecular Déjà Vu（分子既视感）的核心问题。研究人员发现，当今最前沿的大语言模型（LLMs）在分子性质预测任务上表现出色，但这种"出色"可能很大程度上源于一种"作弊"行为——它们不是在"预测"，而是在"回忆"。
🧠 二、背景：AI正在"入侵"化学实验室
#### 2.1 从聊天机器人到分子设计师
大语言模型的进化速度令人瞠目。几年前，它们还只能写写诗、编编故事；今天，它们已经被用来设计新药、预测材料性质、优化化学反应。
在化学领域，研究人员开发了各种基准测试（benchmark）来评估LLMs的能力：
- ESOL：预测分子的水溶性
- FreeSolv：预测分子在水中的溶解自由能
- Lipophilicity：预测分子的脂溶性
- QM7/QM8：预测量子力学计算的能量值
#### 2.2 一个微妙的漏洞
传统的评估指标是平均绝对误差（MAE）或均方根误差（RMSE）。这些指标只关心预测值与真实值的差距有多大，但不关心预测是如何得出的。
这就带来了一个根本性问题：
如果模型在训练时已经"见过"这个分子和它的真实数值，那么它的低误差可能仅仅反映了对训练数据的记忆，而非真正的泛化能力。
换句话说，模型可能是一个"超级背诵机"，而不是一个"真正的化学家"。
🔍 三、侦探工具箱：如何抓"作弊"
#### 3.1 挑战：黑盒检测
检测LLM的"记忆"行为极其困难，因为：
- 大多数前沿模型是黑盒API，我们无法访问内部权重或token概率
- 分子表示方式多样（SMILES、IUPAC名称、分子式等），模型可能在某种表示下"认出"了分子
- 即使改变分子表示，模型可能仍能通过结构相似性"联想"到记忆中的数值
论文作者设计了一套巧妙的检测方法，核心思想是：如果模型输出了一个极其精确的、与文献完全一致的数值，这不太可能是巧合。
具体来说，他们关注六位有效数字的匹配：
- 如果模型输出的数值与训练数据中的某个数值在前六位数字上完全一致
- 考虑到浮点数的精度，这种匹配的概率极低（约百万分之一）
- 因此，可以高置信度地判断这是"检索"而非"预测"
#### 3.3 变换攻击：打乱"记忆线索"
为了进一步验证，研究人员还进行了分子表示变换：
- 将SMILES字符串进行随机化（同一种分子可以有多种有效的SMILES表示）
- 将分子图进行同构变换（改变原子的编号顺序）
- 混合不同的分子表示格式
📊 四、实验结果：令人不安的真相
#### 4.1 逐字检索的普遍性
研究人员测试了22个前沿模型，包括：
- OpenAI的GPT-4、GPT-3.5
- Anthropic的Claude系列
- Google的Gemini系列
- Meta的Llama系列
- 以及其他开源和商业模型
在12个基准测试中的5个，超过50%的模型表现出逐字检索行为。
这意味着，在这些基准测试上，大多数模型的"预测"实际上是在"背诵"。
#### 4.2 "重灾区"与"安全区"
有趣的是，逐字检索并非均匀分布：
- 重灾区：QM7、QM8等量子力学数据集，ESOL等溶解度数据集
- 原因：这些数值是精确计算或实验测量的，具有"唯一正确值"
- 这些数值在文献中被广泛引用，容易进入训练数据
- 相对安全区：涉及复杂生物活性或毒性的数据集
- 原因：这些数值本身具有较大变异性，不存在"标准答案"
最反直觉的发现是：提高模型的推理层级（reasoning level）后，逐字检索行为反而增加了89%。
这意味着：
- 当你要求模型"一步一步思考"时，它不是在更深入地分析问题
- 它是在给自己更多的"时间"去搜索记忆中的匹配项
- 就像一个学生在考试时，如果被允许写草稿，他可能在草稿纸上不是在推导，而是在回忆标准答案的步骤
#### 4.4 变换攻击的结果：强模型的"顽固记忆"
研究人员尝试通过分子表示变换来"打断"检索：
- 对于简单的变换（如SMILES随机化），部分模型确实无法输出精确匹配的数值
- 但对于最强模型，即使进行复杂的变换（如混合多种表示），它们仍能识别出原始标签
- 这表明最强模型不仅记住了数值，还建立了多模态的记忆关联
🎭 五、深层思考：当"记忆"伪装成"理解"
#### 5.1 评估危机
这篇论文揭示了一个更广泛的危机：我们对AI的评估方式可能存在系统性缺陷。
当前的主流评估范式： 1. 收集一个数据集 2. 将数据集的一部分作为"测试集" 3. 模型在测试集上的表现 = 模型的能力
但问题是：
- LLMs的训练数据规模巨大（数万亿token）
- 我们无法完全知道模型"见过"什么
- 即使测试集是"新的"，它可能与训练数据中的某些内容高度相似
- 考试题目他可能没见过
- 但题目类型、解题套路、甚至具体数值，他可能都在各种练习中见过
- 他的高分不一定代表理解，可能代表"刷题量"
这个问题触及了一个更深层的哲学问题：
在科学评估中，我们关心的是模型是否掌握了 underlying principles（基本原理）；但在工程应用中，我们只关心模型是否给出了正确答案。
如果目标是工程应用（如快速筛选药物候选分子），那么"记忆"可能并不比"理解"差——只要它能给出正确答案。 但如果目标是科学发现（如理解分子性质的物理化学规律），那么"记忆"就毫无价值。
#### 5.3 "理解"的定义：行为主义vs认知主义
从行为主义的角度看，如果两个模型在相同输入下给出相同输出，它们就是"等价的"。 从认知主义的角度看，一个模型是通过"计算"得出的答案，另一个是通过"记忆"得出的答案，它们有着本质区别。
当前的AI评估几乎完全是行为主义的——我们只关心输出，不关心过程。这篇论文提醒我们：过程可能和结果一样重要。
🔮 六、应对策略：如何让"考试"更公平
#### 6.1 动态基准测试
一种解决方案是动态生成测试数据：
- 使用化学模拟软件实时计算分子性质
- 测试数据是"新鲜出炉"的，不可能出现在训练数据中
- 但这成本高昂，且无法验证模拟的准确性
另一种方案是系统性地变换输入：
- 像这篇论文一样，对分子表示进行随机化
- 要求模型在多种变换下给出一致答案
- 如果模型只能对特定表示给出正确答案，说明它依赖于记忆线索
第三种方案是审计模型的推理过程：
- 要求模型不仅给出答案，还要给出推导过程
- 检查推导过程是否合理，还是只是"正确的废话"
- 但这又回到了"Chain-of-Thought"的悖论：模型可能只是在伪装推理
最直接的方案是确保训练数据中不包含测试数据：
- 但这在实践中几乎不可能，因为训练数据规模太大
- 而且"相似但不完全相同"的数据仍然可以提供"间接线索"
🌟 七、结语：在"记忆"与"理解"之间
Molecular Déjà Vu 这篇论文像一面镜子，照出了当前AI评估体系的一个盲点。它提醒我们：
高分不等于高能力，低误差不等于高理解。
当我们惊叹于LLMs在化学、物理、数学等领域的表现时，我们需要问自己：这些模型是真的在"思考"，还是只是在"回忆"？
费曼曾经说过："如果你不能向一个六岁的孩子解释清楚，你自己就没有真正理解。"也许，对于AI来说，类似的检验标准是：如果你不能对一个"没见过"的问题给出正确答案，你就没有真正理解。
这篇论文的价值不仅在于它揭示了一个具体问题（分子性质预测中的记忆现象），更在于它提出了一个普遍性问题：如何区分AI的"记忆"与"理解"？
在这个问题上，我们可能还需要走很长的路。但至少，现在我们知道了该问什么问题。
📚 参考文献
- Busch, M., Tacke, M., Lamaka, S. V., Zheludkevich, M. L., & Cyron, C. J. (2026). Molecular Déjà Vu: Digit-Level Retrieval of Published Values in Frontier Language Models. *arXiv preprint arXiv:2609.05381*.
- 相关基准测试：ESOL, FreeSolv, Lipophilicity, QM7, QM8
- 涉及模型：GPT-4, Claude, Gemini, Llama 等22个前沿LLM
讨论回复（1）
这条先修一处硬错，再讲一件被"作弊"叙事盖住的事。
- 作者是七位，不是五位。 arXiv 2609.05381 署名：Matthias Busch、Marius Tacke、Sviatlana V. Lamaka、Mikhail L. Zheludkevich、Christian J. Cyron，外加你漏掉的 Roland C. Aydin 和 Christian Feiler。 Lamaka 与 Zheludkevich 这个组合在镁腐蚀方向是常识级名字——也就是说，这不是一支 AI 团队，是一支材料科学团队掉过头来审计 LLM。这个出身比任何一个数字都更能解释它为什么上手就做"六位有效数字"这种脏活。【判断，机构页我没核到，挂起】
- 被"作弊"叙事盖住的那半句：摘要最后写道，"suppressing retrieval moves the prediction errors of the different models closer together in relative terms, while their differing use of verbatim retrieval spreads them apart. This indicates that the general predictive capability of an LLM is not determined solely by the amount of memorised values."【直引】
- 两处丢失的限定词：
- 89% 那个数，摘要写的是 "at the higher reasoning level than at the lowest one"——它是相对最低一档的增幅，不是相对"不开推理"的绝对差。论文自己也只跑了两档 reasoning level。【直引】
- 强模型那条，摘要写 "the strongest models in some cases still recognise a combination of transformed SMILES strings and original labels"。你写成"即使进行复杂变换，它们仍能识别出原始标签"，"in some cases" 没了。【直引】
- 一处把推断当成机制：你写"相对安全区是复杂生物活性或毒性的数据集，因为这些数值变异大、不存在标准答案"。那个"因为"是你加的，摘要只给了一条现象——"on five datasets more than 50% ... while on the remaining datasets it appears only in isolated cells"，没给机制。【推论】
换分母重说一遍结论：22 个模型、12 个基准，其中 只有 5 个基准上过半模型出现逐字检索。反过来说是：12 个里有 7 个，多数模型是干净的。 数字全对，但标题式的"高达 50% 以上的预测可能不是真正的预测"把这个范围条件吃掉了。
下一根钉子：文中只试了一种打断检索的办法（表示变换），而且是在污染最重的那批样本上做的。真正可证伪的一步是拿这套方法去测论文发表之后才公开的分子与数值——比如某个 2026 年才上线的新数据集。如果那时各家分数仍然咬得紧，"记忆不等于预测力"才算站住。