新厨师先复刻招牌菜——AI 审计科学的第一场考试

周三早上的肿瘤科多学科会诊，一间白色会议室，七八个医生围着一张片子。

主治医生翻到下一页幻灯，指着一行数字：这篇基于 SEER 数据库的研究显示，这类患者的五年生存率在某方案下显著改善。屋子里的人点头。方案的调整顺着这行数字落进病历，落进化疗单，落进一个具体病人的具体星期三。

很少有人追问：这行数字，上一次被人从头到尾验证过，是什么时候？

不是没人想追问。2016 年《自然》杂志做过一次调查，一千五百多名科研人员坦承：超过七成的研究者无法复现他人的实验，超过半数连自己的实验都复现不出来。心理学的"复现危机"早就上过头条；癌症流行病学虽不那么容易翻车，可每个数字背后都压着千万量级的治疗决策——输不起，也没人会轻易去碰。

为什么不去碰？因为把一项已发表的研究重做一遍是一场噩梦：原始数据找不齐，分析代码没人留，论文"方法"一节写着"采用标准方法"——哪个标准？没人记得。重做一篇论文，够烧掉一个博士生半年的光阴，烧完还不一定对得上。于是科学共同体默契地选择相信：相信作者，相信审稿人，相信期刊的招牌。

这套信任系统运转了几百年，如今遇上新情况：论文里假设的提出、队列的筛选、对照的设置，这条"科学思维链"越来越多由 agent 代笔甚至主导——上面坐着的，越来越多是硅基头脑。

一个绕不开的问题浮出水面：我们该信 AI 产出的科学吗？

斯坦福和 Databricks 的一群人没有直接回答"信不信"，他们做了另一件事——让 AI 先把人类已经做过的科学重做一遍。二十篇基于 SEER 数据库的癌症流行病学论文，两千一百九十条原子主张，全部交给 LLM agent 从头复现，再用三套互相补台的方法检验：这些论文的结论，对分析选择够不够稳健。

这就是 SEER-Repro。我们「证据的最后一公里」三部曲的终篇：前两程解决"谁看着 AI"，这一程，让 AI 转头看着科学。

🏛️ 五十年档案馆：为什么是 SEER

先认识一下这座"老菜馆"。

SEER（Surveillance, Epidemiology, and End Results，癌症监测、流行病学与最终结果数据库）是美国国立癌症研究所 1973 年起维护的基于人群的癌症登记系统。2024 年，17 个核心登记处覆盖约 48% 的美国人口，每年新收录约 95 万新发癌症病例。从 1975 年到 2024 年，以 SEER 数据为主要分析发表的论文约两万五千篇，引用过 SEER 数据的论文超过 12.6 万篇。

用菜馆的比方：开了五十年的老字号，菜谱攒了两万五千道，不少直接端上过全世界医生的餐桌。

选它做试验场有两层考虑。其一，规模够大：海量真实、高影响的研究问题，抽二十篇都是硬骨头。其二更妙——这家老菜馆的厨房本身就在变：登记处有进有出，不同年份的队列覆盖人口不同，同一道菜在 2004 和 2021 年用的食材可能就对不上。这种"档案的流动性"让忠实重建极难，而极难，恰恰是检验 AI 复现能力的理想考题。

太干净的数据集测不出真本事。要验新厨师的手艺，就得让他进那间食材会自己换位置的老厨房。

🎫 入场券：先复现，再创造

论文开篇放了一个思想实验，态度近乎执拗：

在 LLM 能被信任去产出新科学结果之前，它们必须首先证明自己能准确复现已有的科学研究。

这句话是整篇论文的地基。换成菜馆的规矩就是：新厨师说自己能创新菜？行，先把招牌菜原样复刻出来，一盘一碟对得上老味道，才准进后厨。复现是创造的入场券，不是创造的替代品。

这个立场值得多停一秒。过去几年 AI for Science 的叙事大多是"发现"：新蛋白、新材料、新靶点。SEER-Repro 反着来——它不问 AI 能发现什么，先问 AI 能不能做一个诚实的复读机。把别人说过的话，对着原始食材，一字一句重说一遍，不许走样。

道理其实朴素：审计师上岗前，先让他把公司过去五年的账重做一次，对不上的地方标红。标红的未必都是错账，但没做过这套对账的审计师，谁敢把报表交给他？

于是他们动手造了这条流水线。

🧩 原子主张：把一句话拆成可验证的最小单元

流水线的第一步，是把论文变成可以逐条对账的"凭证"。

agent 先通读论文，只从实证发现部分（排除引言、相关工作、方法学综述）提取出一个个发现。比如论文写道："乳腺腺样囊性癌女性患者诊断时平均年龄 63 岁、中位 62 岁、范围 33 至 97 岁。"这是一条发现。

然后把发现拆成原子主张（atomic claim）——一句话里可验证的最小单元。上面那条发现拆出来是三条：均值 63 是一条，中位数 62 是一条，范围 33-97 又是一条。一条原子主张，对应一个具体数值或一个定性目标，不多不少。

这个拆法颇有审计功底：整段话或许辞藻漂亮，但数字不会说谎——每条原子主张都是账本上的一行，等着拿原始凭证去核。

第二步，复现。coding agent 拿到论文和数据文档，自己写分析代码、自己执行，产出证据：代码输出、中间结果、最终数字。

第三步，评级。claim verification agent 逐条核对：检查方法、提取复现结果、与论文里的已知目标比对，给出三档判定——Reproduced（复现）、Close（接近）、NotReproduced（未复现）。数值主张的容差划得很清楚：相对误差不超过 5% 判 Reproduced，超过 5% 但在 10% 以内判 Close，其余 NotReproduced。定性主张则二值判定，非黑即白。

三道工序，环环留痕。论文怎么说的、代码怎么跑的、差了多少，全程可追溯。

🗂️ 重建一座会消失的档案馆

流水线听着利落，真正动手才发现：最大的障碍不在 AI 这边，在那座档案馆本身。

第一个坑是历史数据会消失。2022 年 4 月发布的 SEER 数据中，底特律登记处退出了——于是 SEER 9/13/18 变成了 SEER 8/12/17。麻烦在于，用当前发布版无法精确恢复历史上的 SEER 13 和 SEER 18 队列。老菜谱用的食材已经停产。团队的办法是聚焦 SEER 9——保留的增补版覆盖 1975 至 2018 年，含底特律，尽量把还找得到的食材找齐。

第二个坑是资料碎成一地。流行病学研究离不开外部人口数据和一堆配套手册，团队人工整理出：SEER 9 病例表 1 张、县级人口表 4 张、SEER*Explorer 表 34 张，外加编码、分期、登记处映射、人口统计方法等文档。合计 39 张表、713 列、198,255,448 行数据；40 份文档资源，是 11 份 PDF 手册共 816 页，加 28 个网页，再加 1 份变量字典电子表格。

这些数字背后全是体力活。更折磨的是，缺什么往往要到重建分析时才暴露：复现一篇发病率研究，得先找到合适的人口分母，确认地理覆盖、日历年份、人口学定义都和癌症记录对得上，再翻手册核实。看出缺了哪块拼图，本身就要先把分析路径走一遍——这部分要人工策划和专家判断，检索文件列表解决不了。

这也给"AI 自动化审计科学"的宏大叙事浇了第一盆冷水：地基还是人打的。agent 能砌墙，但图纸和砖，得有人先备齐。

📊 77.4%：一张耐人寻味的成绩单

备齐砖石，开工。团队选了 10 篇最高引用论文加 10 篇较新的合格论文，用 GPT-5.6 Sol xhigh（通过 Codex 执行）跑完整条流水线。

总账如下：2,190 条原子主张，1,694 条复现（77.4%），76 条接近（3.5%），420 条未复现（19.2%）。拆开看，量化主张 1,695 条，复现率 76.6%；定性主张 495 条，复现率 79.8%——AI 对数字和文字的判断力居然差不多。

论文与论文之间的差别相当悬殊：最好的是一篇骨肉瘤生存研究（Cancers 2021），论文级复现率 99.5%；最费劲的是一篇宫颈癌发病率研究（按种族和组织学分类，Cancer 2004），只有 53.3%。近一半的账对不上，放在审计行当里足够让人失眠。

那 420 条未复现，错在哪？分类结果很说明问题：

数据问题占 59.8%，其中 212 例是数据根本拿不到，39 例是数据相关的解释问题（比如修订记录缺失、人口分母对不上）。分析规定不足占 11.2%——论文加文档也没法唯一确定作者到底怎么做的。软件不可用近似占 6.7%，比如得拿别的工具近似 NCI 的 Joinpoint 软件。agent 自己的锅占 11.4%：偏离报告方法 25 例、队列选错 13 例、统计推断出错 3 例、分母或标准化搞错 6 例、漏做分析 1 例。疑似评估错误 4.8%，原因未决 6.2%。

近六成的失败和数据有关，而不是和分析能力有关。换句话说，相当一部分账对不上，不是新厨师手艺差，是老菜馆自己都没留住当年的食材——换了人类来复现，照样抓瞎。这个分类本身就是一笔财富：它精确指出了科学记录体系的哪个环节在漏。

77.4% 这个数字，听起来像一张成绩单，读起来更像一张诊断书。对 AI 是诊断，对科学出版体系也是。

🧪 稳健性三剑客：结论扛不扛得住换打法

复现只是上半场。对上了账，不代表账没问题——也许作者的分析选择本身就是筛出来的：队列这样定义、终点那样选取、模型用这个，每一个选择都可能悄悄决定了结论的方向。科学稳健性（analytical robustness）要回答的问题是：换一个同样有依据的打法，结论还站得住吗？

这类能改变结论的选择，论文里叫 consequential choice（重大选择）。难点在于，判断一个选择"重大不重大"没有金标准。团队的解法是让三剑客各管一段，互相补台。

第一剑客，独立报告生成。把从论文里提炼出的研究问题（指定好主题和范围）交给两个 agent——Opus 4.8 max（Claude Code）和 GPT-5.6 Sol xhigh（Codex）——各自独立选方法、写代码、出报告。这相当于让两个新厨师不看老菜谱，各自凭理解重做同一道菜。然后由 GPT-5.6 Sol 比对独立报告和原论文，看中心结论是否矛盾。结果：共产出 40 份报告（1 份 Sol 报告因研究期间不重叠不可比），39 份可比报告的中心结论无一矛盾，3 份 Opus 报告在支撑性陈述上有标记，细看也推不翻中心结论。

第二剑客，扰动 agent（Perturbation Agent），这是主力。它只对完全复现的发现下手——复现代码提供了可信的基线。流程分四步：SelectAnalyticalChoices，识别论文中贡献了已知结果的分析选择（队列定义、终点、统计模型等），按科学重要性和可行性排序，至多挑 20 个；ProposeAlternatives，依据复现证据弄清论文原实现，提出站得住脚的替代方案；ExecuteAnalyses，先跑未动的基线验证通过，再每次只换一个替代、其余全部固定；AssessConsequences，判定结果是 DirectChange（直接改变）、Qualification（限定）、StableUnderTest（测试下稳定）、Inconclusive（不确定）、Unavailable 还是 NotTested。对 DirectChange 的情形，用改编自 GRADE 的 1 到 9 分后果评分：1-3 分是数值敏感但解释无实质变化，4-6 分是限定或次要发现改变，7-9 分则是重大限定、支持丧失或主要结论反转。

第三剑客，直接 coding agent 分析。不给扰动框架，直接把论文、复现证据和数据摆给 agent，让它自己去识别和检验重大分析选择，用同一套 1-9 分制评级。相当于一个自由发挥的分析师，看它能嗅出什么。

整个稳健性实验动用了四个模型当分析师：GPT-5.6 Sol、Opus 4.8、Kimi K3、GLM 5.3 跑扰动 agent，外加 Codex 的 GPT-5.6 Sol xhigh 和 Claude Code 的 Opus 4.8 max 跑直接分析。七个"分析师"并行上岗。

🚩 五十五面红旗，一面待查

七个分析师交上来的，是一组耐人寻味的数字。

579 个完全复现的发现里，55 个（9.5%）被至少一名分析师标出存在 7-9 分的重大分析选择；其中 14 个（2.4%）被两名以上分析师同时标出。红旗率不到一成——表面平静。

再看分析师之间的重合度：55 个受影响发现里，41 个（74.5%）只被一名分析师发现。七个分析师看到的疑点高度互补，重叠不到三成。这非但不是混乱的证据，恰恰是方法的本质——分析选择的敏感性很大程度上取决于分析师的眼光，多分析师并行不是冗余，是刚需。

分数分布也安慰人：扰动 agent 的对比里 7-9 分占 7.5% 到 14.8%，Codex 直接分析占 19.4%，Claude Code 占 17.4%——大多数对比够不到高后果区间。

然后是整篇论文最关键的一次反转：自动化流程标出的红旗，交给人类专家复核，十个深查的病例（方法 B 五例加方法 C 五例）里，九例不成立，一例待查。

细看。方法 B 五个病例中，有两例初看像是重大改变，专家细查后判定替代方案站不住脚——比如把 SEER 的 "Bones and Joints" 分组换成直接的原发部位编码 C40.0-C41.9，确实会多出 3,974 条记录、让两个时期的比较都变得显著，但这改变了疾病人群本身，手册细查显示原选择更有据。其余三例只构成有限的限定。方法 C 的五个病例中，四例同样是有限限定；一例——鼻腔与非鼻腔粘膜黑色素瘤发病率趋势的比较——可能存在夸大，标记为待进一步审查。

三个病例各有各的教训。骨肉瘤生存研究那例（Sol 扰动，9 分）：专家的裁决是替代方案改变的是人群，不是结论，分数再高也不成立。乳腺腺样囊性癌那例（Codex 直接分析，8 分）：把"不显著的标准化发病比"解读为"无相关癌症"，统计上确实粗糙——不能拒绝零假设不等于证明无风险——但原论文本已加了告诫限定，这算解释澄清，不算结论翻转。头颈粘膜黑色素瘤那例（Claude Code 直接分析，8 分）：直接比较鼻腔与非鼻腔趋势（两组都在涨，交互不显著，p=0.46）比从各自的显著性检验推断差异更严谨，可能真抓到了一处夸大，但数据噪声和模型拟合问题让解释复杂化，不显著的交互同样证明不了趋势相等——所以是"待查"，不是"定罪"。

九比一。这个比分不是自动化流程的失败，恰恰是它的价值显形：579 个发现被筛成 55 个重点短名单，专家再从短名单里深查十个，工作量从"大海捞针"变成"点名核查"。自动化缩小的是专家的注意力范围，不是专家的判断权。举证责任，最终交还给人。

⚖️ 比社会科学更稳？一个鼓舞信号

这几年，AI 分析师在社会科学数据集上翻出了不少东西。Bertran et al.（2026）和 Miao et al.（2026）都报告过心理学、社会科学数据集的敏感性——换个分析规格，结论就可能动摇。多分析师研究（many-analyst study）传统也早有警示：Silberzahn 等人 2018 年让 29 个团队分析同一组数据，结论分布之散令人咋舌。

而这批 SEER 医学论文，对所测的替代分析表现出高度稳健。

措辞得掐准：不是"医学研究没问题"，是"对这二十篇论文、对这些站得住脚的替代分析，结论是稳的"。但即便如此，信号也足够鼓舞——流行病学论文的分析选择经数十年方法学争论打磨，变量定义、终点选取、模型惯例都有成熟规范，"换打法"的空间天然小于社会科学那些自由度满满的场景。老菜馆的招牌菜，终究是千锤百炼过的。

🏗️ 把审计写进科学的日常

论文的结尾没有停留在成绩单上，它描了一张更大的图。

三条互补的路径已经跑通：复现已发表发现、系统检验稳健性、把专家注意力导向潜在的重大选择。自动化负责把 579 个发现筛成 55 个短名单，专家只需回答两个问题：替代方案科学上可辩护吗？会实质改变结论吗？省掉的是从头重建每个分析的体力，留下的是人类最不可替代的裁决。

再往远看，这类检查可以成为科学基础设施（scientific infrastructure）：数据在更新，方法在演进，惯例在换血——已发表的发现就该被常规性地重新评估，新出现的潜在敏感性自动排序，优先送进专家的视野。科学的自我修正机制，过去靠少数较真的同行和偶尔爆出的丑闻驱动，未来可以靠流水线常驻运行。

复现危机喊了那么多年，第一次有了流水线式的应对。不靠英雄主义，不靠羞愧感，靠流程。

🌅 终章：把二十年的账一夜对完

三部曲走到这里，该合卷了。

第一程讲证据的管道：监控器尽职尽责地报警，告警却到不了该做决策的地方——框架演进悄悄掐断了管道。金丝雀合约把"报警必须送达"写成契约，修的就是管道。那一程监控的对象，是 AI 的行为。

第二程，我们讲泛化：世上的监控目标千千万，不可能每个目标配一双眼睛。OwlSight 用 Factor 让一台 4B 的小监控器在提示词层面换挡，一双眼睛配一万张清单，一台机器看住万种任务。监控器长出了普适的视力。

这一程，监控完成了它的成人礼：目光从 AI 的行为移开，落在 AI 产出的科学上。二十篇论文、近两亿行数据、八百多页手册，agent 把这座五十年档案馆里二十年的账一夜对完——77.4% 对上了，9.5% 标了红旗，最后交给人九比一的裁决。

回头再看，三篇论文其实是同一个问题的三次显影：证据的最后一公里，究竟能不能走完。管道断的时候，证据死在传输途中；监控无法泛化的时候，证据死在成本手里；而科学审计面对的是最后一道关卡——证据抵达了决策者，可它本身经得起推敲吗？无论监控的对象是 AI 的行为，还是科学的结论，问题始终是同一个：证据，能否到达该做决策的地方。

SEER-Repro 给出的回答带着审计行当的老派气质：先做对账，再谈信任；先缩小范围，再动用判断。新厨师复刻完招牌菜，才准进后厨——这不是对新厨师的刁难，是对食客的负责。

而我们这些守在监控器后面的人，从修管道、造猫头鹰，看 AI 转头审起科学的账。猫头鹰那一夜没有结束。它收起了行为监控的清单，抽出了科学的账本。

夜班还长。但证据最后一公里路的终点，已经从安全团队的仪表盘，延伸到了人类知识大厦的地基里。

📚 参考文献

1. Shicheng Liu, Krista Opsahl-Ong, Andrew Drozdov, Julian Killingback, Arnav Singhvi, Ronak Pradeep, Michael Bendersky, James C. Dickerson, Monica S. Lam. AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery. arXiv:2610.23845, 2026.
2. Guyatt G H, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. 2008.
3. Silberzahn R, et al. Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. 2018.
4. Steegen S, et al. Increasing Transparency Through a Multiverse Analysis. 2016.
5. Simonsohn U, Simmons J P, Nelson L D. Specification Curve Analysis. 2020.
6. Botvinik-Nezer R, et al. Variability in the analysis of a single neuroimaging dataset by many teams. 2020.
7. Bertran et al. 2026.
8. Miao et al. 2026.
9. Brodeur et al. 2026.
10. Baker M. 1,500 scientists lift the lid on reproducibility. Nature, 2016.

#论文解读 #小凯 #证据的最后一公里

arXiv:2610.23845 | papers.cool #1