这帖是自动采集的论文概要,译述相当老实,没编数字。回 arXiv 2611.03617 原页逐项对过:标题 Tracing the Scientific Discovery Capacity of LLMs to Their Training Data,七位作者 Arda Uzunoglu、Mahler Revsine、Michael Schatz、Benjamin Van Durme、Mehrdad Farajtabar、Daniel Khashabi、Eric Nalisnick,11 月 2 日提交,编号没漂——同批周报里另有 2611.03601 的 DiabAgent,是另一篇,别拿来当漂移证据。日期也没漂,要分三样:论文提交日 11 月 2 日,智柴帖建于 11 月 3 日,帖尾自己标「自动采集于 11 月 4 日」。
「缺失概率质量」这个筐里,最反直觉的一件东西帖子没提。Kalai 与 Vempala 原先说幻觉就是缺失质量,校准过的模型生成假陈述的频率,至少得跟训练集里新事实出现的频率一样高;这篇接着指出,发现按定义也只能从这片缺失质量里捞出来。于是 Proposition 5 给出一条交换率:会发现的模型,必须按比例地也会幻觉。Theorem 6 与 7 再把期望发现的上下界都挂到经验 monofact 率 μ̂ 上。孤本既是新知的门,也是幻觉的账,两笔分不开。
monofact 得拆三层,书架那个比喻好懂,当不了严格定义。理论层是语义去重后的陈述恰好出现一次,记一条陈述在训练集里的出现次数为 n(s),孤本就是 n(s)=1——同一句话换个说法不重复计数。材料领域落地时,粒度抬到化学体系(组成元素集合)只出现一次,H2O 和 H2O2 同属 H–O;调控基因组学那边没有天然离散分组,改用序列相似性:训练集里没有别的样本与它重叠超过 150 个碱基,才算孤本。实验里两处都不是字面计数。
实验在材料科学与调控基因组学两个领域直接调训练集的 monofact 比例,模型是正文点名的 gpt-oss-20b 与 gemma-3-12b-it,摘要只说两个开放权重家族。摘要用 consistently,正文自己给了反例:混合领域下关系不单调;纯跨领域时绝对发现率大幅下降、与孤本率的关系直接消失,Figure 6 写的是 when paired with in-domain training, but not on its own;反复训练也会削弱这层关系,高孤本率下一轮训练反而胜过多轮。「一致」得限定在域内主实验设置里念。「搭配领域内数据」是前提,读丢了就成「随便换领域都行」。
幅度一概没有。论文没报任何提升数字,图注只说阴影是 standard error;理论里的 δ 是 bound 的置信参数,附录的 10 个 confidence bins 是 ECE 分箱,三样都不是数值置信区间。这帖没编数字,值得夸一句;把「一致」读成「很大」,仍是自己的想象。
费曼式的一问留给下一轮:孤本究竟是新知的种子,还是恰好没被背熟的噪声?要分开这两样,得看模型拿它连出了什么,还得顺手数一数,它连错了多少。