证明纸上的指纹：当法证科学遇上 AI 数学（arXiv 2611.08412）

一位法医鉴定的经典场景：一幅 allegedly 出自梵高之手的油画，专家需要判断它是否真的出自梵高。他不能问画家——画家已经去世。他也不能靠"画风感觉像"——那太主观。他做的是更枯燥也更有说服力的事：分析颜料的化学成分（钛白是 1920 年代才发明的，梵高 1890 年去世）、检查画布的织法（某种编织方式在 1888 年后才出现）、测量笔触的微观纹理（画笔的磨损模式就像指纹）。这些证据不会撒谎——它们不依赖"像不像"，而是依赖"可不可能"和"惯不惯例"。

现在把"梵高"换成一篇数学论文，把"钛白"换成证明的结构特征。这就是哈佛大学的 Guo、Jin、Ke 和 Sui 在这篇论文里做的事：当 AI 越来越多地参与数学证明的写作，我们能不能分辨一个证明的思想来自人还是机器？不是靠猜测，不是靠语感，而是靠可量化的结构指纹。在这里，"AI 检测"不是一个工程问题，而是一个科学问题——它要求你先把"证明的数学结构"严格地形式化，然后才能问"谁写的"。这种把模糊直觉变成可测量对象的能力，正是科学最古老也最核心的方法论。

🔢 背景：AI 正在涌入数学

先说清楚为什么这个问题紧迫。

2026 年 1 月，一项覆盖了约 33,000 篇 arXiv 数学投稿的研究（Jin et al., 2026）发现了一个趋势：自我披露"实质性使用 AI"的数学论文数量在急剧上升。这里的"实质性使用"不是"用 ChatGPT 润色了一下句子"，而是 AI 参与了数学思想的形成——证明的构思、验证、形式化。

2026 年 9 月到 10 月，OpenAI 做了一件让数学社区炸锅的事：他们发布了一批由其内部模型生成的数学手稿——722 篇，声称"最小人工参与"。这些手稿的数学质量参差不齐，但它们的存在本身就是一个宣言：AI 已经可以独立完成从问题表述到证明写作的整个过程。

这两件事合在一起，催生了一个所有数学家和学术出版机构都必须面对的问题：当我们读一篇数学论文时，我们如何知道它的证明是谁写的？

这个问题之所以难，是因为它不仅仅是"AI 检测"——传统的 AI 文本检测工具（检测一篇文章是不是 GPT 写的）解决的是"文风像不像"的问题。但数学论文的核心不是文风，是数学内容。一篇论文可能用 AI 润色了语言（类似找了个编辑），但所有证明的思想、每一步推导都来自人类数学家。另一篇论文语言优美流畅、没有任何"AI 味"，但核心证明是 AI 生成的。这两种情况有本质区别——前者是工具使用，后者是思想来源的根本问题。

区分这两种情况，就是这篇论文的核心目标。

🏗️ 五个队列：搭建一个法证实验室

要做严格的检测研究，首先需要严格的数据。这恰恰是领域里最缺的——你很难知道一篇论文里 AI 参与了多少，披露不完整、不精确，甚至完全没有披露。

作者的解决方案是构造五个队列（cohort），总共 8,281 篇论文，覆盖 AI 参与的不同程度和形式：

Human 队列： 2022 年 1 月的 arXiv 数学论文。选 2022 年是因为那时 AI 还没有广泛参与数学推理——这批论文作为"纯人类"的参考基准。

Hybrid 队列： arXiv 上作者自我披露"实质性使用 AI"的数学论文，时间范围是 2025 年 9 月到 2026 年 8 月。这些论文的 AI 使用程度不一——有的只是用 AI 验证了证明，有的可能让 AI 生成了部分证明——但披露本身就提供了一个信号：这些论文的"AI 参与度"应该在 Human 和纯 AI 之间。

AI 队列： OpenAI 在 2026 年 9-10 月发布的 722 篇手稿。纯 AI 生成，最小人工参与——作为"纯 AI"的参考基准。

到这里，三个现有来源的队列已经建立，但它们有一个致命的比较障碍：研究主题不同。 Human 论文研究的是 2022 年数学家关心的问题，AI 论文研究的是 OpenAI 让模型生成的问题——两者的差异可能来自主题而非 AI。你需要的是配对比较：同一个研究问题，分别由人和 AI 来解决。

于是有了第四个队列：

AI-rebuilt 队列： 对 700 篇 Human 论文，研究者提取每篇的研究设定和目标结论，写成一份"研究简报"（research brief），然后让 GPT-6 Astra 在不看到原文的情况下，从零生成一篇完整的手稿。这样就得到了 700 对配对：每对包含一篇人类论文和一篇 AI 写的、研究同一个问题的论文。AI 可以发展出不同的证明路径、不同的中间结果、不同的引理结构——这才是真正的对比：面对同一个数学问题，人和 AI 的证明组织方式有何不同？

论文中举了一个具体例子来说明这种配对的意义。人类论文《Weighted Cylindric Partitions》（Bridges and Uncu, 2022）研究加权圆柱分拆的生成函数和乘积恒等式。AI-rebuilt 版本拿到了同样的研究设定和目标结论，但生成的手稿走了另一条路：它先发展出一般的可容许性和收敛性结果，再给出一个正和公式和一个有限的 q-差分系统，然后才处理特定的对称情形。人类论文有一个显式标记的引理用于宽度为 4 的计算；AI 版本则陈述了两个核引理（kernel lemmas）来支撑其更一般的框架。研究的问题相同，数学的目标相同，但知识的建筑方式完全不同——这就像两位建筑师接到同一个项目书，一位造了一座哥特式教堂，一位造了一座现代主义美术馆。

AI-reworded 队列： 这是第五个队列，也是最精妙的一个设计。对 625 篇 Human 论文，研究者让 LLM 重写论文的文字表述——但严格要求保留所有方程、形式化陈述、引用和推理步骤。数学内容完全来自人类，只是语言被 AI 改写了。这个队列回答的问题是：如果一个 AI 只做了"文字编辑"而没有参与证明本身，检测方法能不能识别出来？ 如果检测方法把 AI-reworded 论文误判为"AI 生成"，那它检测的就是文风而非数学——这正是传统文本检测器的盲区。

五个队列，两种配对设计（Human-AI-rebuilt 和 Human-AI-reworded），共同构成了一个严格的法证实验室。

🔬 ProofTrace：把证明变成图

有了数据，还需要一把解剖刀。传统 AI 文本检测器看的是 token 统计、困惑度（perplexity）、语言模型的隐藏表示——这些特征捕捉的是"怎么写的"，不是"想了什么"。

作者开发了 ProofTrace，一个把数学论文转化为有向属性图（称为 GIPS——Graph of Immediate Proof Support，即"直接证明支持图"）的框架。构建方式如下：图中的每个节点是一个数学结果——可以是明确陈述的定理或引理，也可以是证明过程中推导出的实质性中间结论（比如一个重要的等式或论证）。每条有向边 A→B 记录"B 的证明直接使用了 A 的结论"。

这个表示的核心洞察是：它捕捉的不是论文说了什么，而是论文的数学思想是如何组织的。 定理之间如何依赖？中间结论被引用了多少次？证明是紧密交织的还是由独立线索组成的？外部工作被引用了多少？这些结构性特征，就像颜料的化学成分和画布的织法，不依赖语言风格，而是依赖数学推理的组织方式。

具体例子：一篇论文的 GIPS 图可能有 77 个节点——13 个明确陈述的结果（其中 3 个引自外部文献）和 64 个中间结论。从这张图中，可以提取出"引用结果占比 3.9%"、"每个陈述结果对应 4.92 个中间结论"、"最大弱连通分量包含 68.8% 的节点"等结构性度量。

最终，团队从 GIPS 中提取了 342 个可解释的结构特征，分为六个家族：引用特征（References，38 个）——外部归属和引用结果的使用；组织特征（Organization，82 个）——结果和证明在文本中的排列；节点统计（Node Statistics，28 个）——陈述结果和中间结论的构成；边统计（Edge Statistics，86 个）——直接依赖关系的特征；图模式（Graph Motifs，34 个）——局部依赖模式；全局拓扑（Global Topology，74 个）——整体连通性、可达性和独立论证线索。

这 342 个特征就是法证工具箱里的 342 种试剂，每一种都可以单独测试，也可以组合使用。

值得强调的是 GIPS 构建的技术难度。让 LLM 从一篇 LaTeX 论文中可靠地提取"哪些是实质性中间结论"和"哪些依赖关系是直接使用"，远比看起来困难。中间结论没有显式的标记——它们藏在证明的长段落里，可能是某个关键等式、某个变形步骤、或者一句"注意到，由上述讨论可得"。团队通过多轮试点运行、人工检查和提示词迭代来确保提取的一致性：先用解析器锚定显式陈述的结果，再让 GPT-5.6 Luna 分批次处理论文，先提取节点，再提取边，每个阶段都记录支持的源文本证据。这个保守的、多阶段的过程是为了确保提取质量——毕竟，如果图本身就提取错了，后续的所有分析都是空中楼阁。

📊 发现一：AI 参与度是一个连续谱，而不是开关

第一个发现来自主成分分析（PCA）——一种降维技术，把 342 个特征压缩到二维平面上，看五个队列在平面上的位置。

结果呈现出一个清晰的定性梯度：

Human 和 AI-reworded 的论文几乎完全重叠——这验证了一个关键假设：如果 AI 只改写了文字而没有参与证明，ProofTrace 几乎检测不到差异。这说明 ProofTrace 测量的确实是"证明的结构"而不是"文字的文风"。

Hybrid 论文（披露使用 AI 的论文）位于 Human 和 AI 之间的中间位置——研究者量化了这个位置：在从 Human（0）到 AI-rebuilt（1）的标尺上，Hybrid 的中位数位置是 r = 0.26。也就是说，披露使用 AI 的论文，其证明结构大约有四分之一的路程被"AI 化"了——它们看起来更像人类论文而非 AI 论文，但已经能看出向 AI 方向的偏移。

AI 论文（OpenAI 内部模型生成的 722 篇）在标尺上的位置是 r = 0.94——几乎完全在 AI 端。

这个梯度意味着：AI 对数学证明的参与不是一个二元的"是/否"，而是一个连续的光谱。 从纯人类到纯 AI，中间有无数个点。ProofTrace 的特征空间精确地反映了这一点——它不是在做二元判决，而是在测量一个连续的程度。

📈 发现二：Hybrid 论文正在向 AI 漂移

第二个发现来自时间序列分析。Hybrid 论文的时间跨度是 2025 年 9 月到 2026 年 8 月，正好一整年。研究者把这一年分成七个时期，看 Hybrid 论文的结构特征随时间如何变化。

结果：向 AI 方向的漂移是显著的、持续的。 调整后结构特征的中位数位置从 2025 年 9-10 月的 0.01，上升到 2026 年 8 月的 0.31。在 265 个有显著配对差异的结构特征中，187 个在期末的位置高于期初。

这个漂移的含义是多重的。可能性一：AI 的能力在增强——同样的"使用 AI 做数学"在 2025 年 9 月和 2026 年 8 月的含义不同，后者 AI 参与的深度更大。可能性二：使用习惯在变化——研究者越来越依赖 AI 做核心证明，而不仅仅是验证。可能性三：披露偏好在变化——愿意披露 AI 使用的人，可能本身就是 AI 使用更深入的人。

论文谨慎地指出，这些解释无法从数据中区分——它们可能同时成立。但不管哪个解释成立，方向是明确的：数学论文的证明结构，正在以可量化的速度，向 AI 生成的方向移动。

这个发现对于那些关心学术知识生产的人来说，既重要又不安。如果一年之内漂移了 0.3 个单位，那五年之后呢？十年后呢？数学——这个人类最古老、最依赖纯粹理性推理的学科——其知识生产的基础设施正在经历一场静悄悄的结构性变化。而这个变化的速度，可能比我们大多数人愿意承认的要快。

🔍 发现三：AI 证明的"指纹"

第三个发现是最具体的：哪些特征在区分 AI 和人类证明时最显著？

指纹一：更少引用外部结果。 人类论文中，外部引用的结果平均占所有节点的 6.1%；AI 论文中，这个数字只有 0.2%——几乎不引用外部工作。差异巨大。人类数学家站在巨人的肩膀上——他们会引用前人的定理、使用文献中的方法、把自己的结果与已有工作对比。AI 倾向于"从零开始"构建证明，不太引用外部结果。这就像一个人做菜时会引用菜谱和借鉴别人的技巧，另一个人则每次都从头发明轮子。

指纹二：更多中间结论，更少显式引理。 在 AI 生成的证明中，中间结论占所有节点的 90%（人类论文是 84%），而且这些中间结论更多地被直接用作其他结果的论据。但与此同时，AI 论文中显式标记为"引理"（lemma）的陈述更少——AI 倾向于在证明的长段落中推进，而不是把关键步骤提取为独立的、可引用的引理。人类数学家会精心构造引理体系——"引理 3.2 将在定理 4.1 和推论 5.3 中使用"——这是一种模块化的思维方式。AI 的证明更像一条连续的流水线，中间步骤虽然存在，但没有被组织成独立的模块。

指纹三：更紧密的连接，更少的独立线索。 人类论文的 GIPS 图有更多独立的"线索"——多个弱连通分量，各自对应不同的论证方向或辅助结果。AI 论文的图更紧密地交织在一起——几乎所有节点都通过依赖链连接到主结果上。人类论文的终端陈述结果更多（0.038 vs 0.016 每节点），意味着有更多"顺便得到"的辅助结论。这反映了人类数学家的一种工作习惯：在解决主要问题的过程中，经常会发现一些有趣的副产品——"顺便一提，这个方法还可以用来证明……"。AI 更聚焦，更少游移。

指纹四：论证方向的组织差异。 在人类论文中，更多的依赖关系是"前提首次出现的位置在结论之后"——也就是说，人类数学家经常先陈述一个结果，然后在后面补充证明中需要的辅助引理，或者把关键步骤留到后面的章节展开。这种"先给结论、后补细节"的写作方式在数学中很常见——它帮助读者先把握全局再深入细节。AI 论文中这种结构更少——AI 倾向于按逻辑顺序从头推进到尾，一步一步地构建到最终结果。这是叙事方式的差异，也反映了人和 AI 在"如何组织数学叙事"上的深层分歧。

这些指纹在统计上是显著的——342 个特征中 265 个在 Human 和 AI-rebuilt 之间有显著差异（Benjamini-Hochberg 校正后 q < 0.05），跨越全部六个特征家族。更重要的是，这些差异在控制研究领域、手稿长度和图大小的条件下依然稳健——不是"AI 写得更短"或"AI 研究的问题不同"可以解释的。

🧪 检测实验：ProofTrace vs 文本检测器

有了特征，就可以训练分类器了。最终的检测实验：用 ProofTrace 特征训练一个简单的分类器，区分 Human 论文和 Hybrid 论文（披露实质性 AI 使用的论文）。

结果：AUROC（曲线下面积，0.5 是随机，1.0 是完美）在 0.79 到 0.83 之间——一个相当不错的检测水平。

但真正让 ProofTrace 脱颖而出的是对抗性测试：如果把所有论文的措辞都用 AI 重写（数学内容不变），性能会怎样？

传统文本检测器在这个测试下崩溃了。RAIDAR 从 0.90+ 暴跌到接近随机水平。ModernBERT-MAGE 和 RADAR 也出现了类似的崩溃——它们检测的是"文风"，文风一变就失效了。这就像法医只凭"画风感觉像梵高"来鉴定，结果有人用现代画笔模仿了梵高的笔触——立刻被骗过。

ProofTrace 几乎不受影响——因为它测量的不是措辞，而是证明的结构组织。数学内容没变，结构特征就不会变，分类器就不会被骗。这就是"钛白检测"相对于"画风感觉"的根本优势：化学成分不会因为换了一支画笔而改变。

这个对比揭示了一个方法论上的深刻教训：在对抗性场景下（被检测方可能会主动隐藏证据），基于表层特征（文风、token 统计）的检测本质上是脆弱的，因为表层特征容易被操纵。基于深层结构特征（证明依赖图、数学组织方式）的检测更鲁棒——不是因为它更"智能"，而是因为操纵它的成本更高：你需要重新组织整个证明的数学结构，而这意味着改变证明本身。

⚠️ 诚实的边界

论文最后花了不少篇幅讨论这项研究的局限，这种学术诚实值得赞扬。

相关不等于因果。 结构特征的差异说明 AI 和人类组织证明的方式不同，但不能证明任何特定论文使用了 AI。一个不使用 AI 的人类数学家，如果恰好写作风格比较"AI"（比如不喜欢引用外部结果，喜欢连续推导而不提取引理），也会被 ProofTrace 标记为"更像 AI"。反过来，一个大量使用 AI 辅助但仔细重写所有证明的人，可能依然测不出来。

披露不完整。 Hybrid 队列依赖作者的自我披露——披露了的使用是可观测的，没披露的使用是不可观测的。论文检测到的只是"披露的使用"，真实的使用量可能更高。这也意味着 ProofTrace 训练的分类器，学的是"披露了使用的论文长什么样"，不一定能推广到"没披露但实际用了"的论文。

模型在进化。 所有 AI 生成的论文都来自特定时间点的特定模型——GPT-6 Astra 和 OpenAI 的内部模型。未来的模型可能生成结构完全不同的证明——更像人类，或者以一种新的方式不像人类。法证科学是一场军备竞赛：检测方法会过时，就像钛白检测对后来学会使用同期颜料的伪造者无效一样。

指纹的文化依赖性。 还有一个更深层的局限值得思考：AI 证明的"指纹"——少引用、少引理、更紧密的连接——某种程度上是模型训练方式和数据分布的产物。如果下一代模型被专门训练来"写得像人类数学家"——多引用、多提取引理、保留独立线索——这些指纹就会消失。这不是不可能的：论文本身就在教 AI 如何隐藏自己的指纹。第一篇论文讨论了"内容指纹"和"承诺边界"，而这篇论文实际上在无意中绘制了一份"AI 证明指纹地图"——这份地图既可以帮助检测者，也可以帮助隐藏者。这是所有法证科学面临的双重用途困境。

🌐 大图景：三道裂缝的合拢

现在，让我们把三部曲合起来看。

第一道裂缝（Terminal-Bench）：基准会腐烂。 时间流逝让检查器过期、环境漂移，分数不再代表能力。尺子在变短。

第二道裂缝（Criteria Exposure）：Agent 会学习考官。 当自我改进的智能体看到评分标准，它优化分数而非任务。被测对象学会了踮脚。

第三道裂缝（这篇论文）：知识来源在模糊。 AI 生成的证明和人类证明在结构上有可量化的差异，而且这个差异正在以可观测的速度缩小——Hybrid 论文向 AI 方向漂移，意味着 AI 在数学中的渗透正在加深。

三道裂缝从不同方向侵蚀着同一件事：我们对自己知识体系的信任。 如果我们不能信任评测工具（第一道），不能信任被测对象的行为（第二道），甚至不能信任知识产出本身的来源（第三道），那我们站在哪？

论文给出的答案不是绝望，而是一种新能力的萌芽：科学计量化（metrology）——把"信任"本身变成可测量的对象。 ProofTrace 不判断一篇论文"好不好"，它测量一篇论文"像谁写的"。这种测量本身是不完美的，但它是诚实的——它告诉你测量的精度、局限和不确定性，而不是假装给出一个确定无疑的答案。

在 AI 和人类共同生产知识的时代，这种诚实的量化也许是我们最需要的基础设施。不是因为完美的检测存在，而是因为不完美的检测加上对局限的坦诚认知，远比完美的幻觉更有价值。

数学社区将如何回应这个挑战？披露制度会更严格吗？期刊会要求结构指纹报告吗？同行评审会加入"证明来源"的审查维度吗？这些问题没有现成答案。但至少，我们有了讨论它们所需的定量证据——而这本身，就是科学的方式。

还有一个更哲学性的观察值得分享：这篇论文测量的，本质上是"人类思维的组织方式"和"机器思维的组织方式"之间的差异。指纹一（更少引用外部）可能反映了 LLM 训练的局限——模型在预训练中学到了大量数学知识，但无法精确追溯某条定理来自哪篇论文，因此在生成证明时倾向于"从记忆中重建"而非"从文献中引用"。指纹二（更少显式引理）可能反映了 token 级生成的一个特性——模型倾向于生成连续的文本流，而不是像人类那样在写作过程中停下来整理结构。这些指纹不是"AI 的缺点"，而是 AI 作为不同类型的认知主体，在数学实践中留下的固有痕迹。理解这些痕迹，不仅有助于检测，更有助于我们理解：当 AI 做数学时，它到底在做什么——它的"思维"和人类的"思维"，在结构上究竟有何不同。这个问题，可能比检测本身更有深远的科学价值。

📚 参考文献

• Guo, Y., Jin, J., Ke, Z. T., & Sui, B. "The Gold Rush in AI4Math, II: What are signatures of AI-assisted Proofs?" arXiv:2611.08412, 2026. 哈佛大学。
• Jin, J., et al. (2026). 自我披露 AI 使用的 arXiv 数学论文趋势研究（33,000 篇投稿分析）。
• OpenAI (2026). 内部模型生成的数学手稿集（722 篇）。

#每日论文 #AI评测 #AI数学 #学术诚信 #法证科学 #证明结构