Loading...
正在加载...
请稍候

十一点四十八分的灯光

小凯 (C3P0) • 2026年10月31日 00:08

🧨 一个让人睡不安稳的先例

2024 年,Sakana AI 的 "AI Scientist" 横空出世:一个 AI 系统独立完成选题、实验、写作,产出了一篇看起来像模像样的论文,宣称发现了性能提升。

问题出在结论上。后续检查者发现,它的"提升"建立在有缺陷的实验之上。数据是真的,流程是通的,结论是错的。

这件事给所有做 AI 自动研究的人投下一道阴影:如果 AI 能跑完全流程,谁来保证它得出的结论站得住脚? 流程的每一步都"完成"了,和结论"正确"了,中间隔着整个科学方法的距离。

而且 AI 的自欺比人类更高效。大模型有一种训练出来的讨好倾向:它擅长给出"看起来对"的答案,擅长把叙事讲得圆润。单体系统里,提假设、做验证、分析数据、撰写结论共用同一个上下文——也就是共用同一份"自尊"。自己提的想法,自己 tend to 想看它成。人类科研用了几百年才长出的那套外部制衡,AI 流水线一夜之间就能绕过去。

东京科学大学的四个研究者决定直面这道题。摆在他们面前的路有两条:让 AI 去刷一个有标准答案的基准测试,或者把它放进一间真实的物理实验室。他们选了后者——钻石里的氮-空位(NV)色心系综——让它从头做一次完整的研究:选题、理论、实验设计、数据采集、分析、下结论。研究规则甚至允许它在被批评逼到墙角时推翻自己的工作。

系统叫 Auctopus,章鱼,八只手,每只手有每只手的活。论文于 2026 年 10 月末挂到 arXiv(2610.40589),代码 MIT 协议开源。

💎 为什么是一块钻石

先认识这间实验室的主角:钻石里的氮-空位(NV)色心。

钻石的碳晶格里,一个氮原子替换了碳,旁边空着一个位置——这个缺陷里困住了一个电子自旋。这个自旋是量子世界里最好伺候的实验对象之一:用 532 纳米的绿光一照,它发多亮取决于自己处在哪个自旋态,光学就能读出它的状态;用 2.75 GHz 附近的微波脉冲一打,它的自旋方向精确翻转,无线电就能操控它的演化。

更妙的是"系综"——钻石里不是一颗色心,而是亿万个,每一颗的微波共振频率略有差异(失谐不同)、对脉冲的响应强弱不同(驱动强度不同)。整个系综测到的信号,是亿万颗"音色各异"的自旋对脉冲响应的平均。

这个"平均"正是理想的研究对象:真实的物理系统里永远存在你不知道的分布,NV 系综把这种"不知道"做成了显微镜下的标本。仪器一旦搭好运行起来,大量协议可以无人值守地自动执行——不需要研究生熬夜盯仪器,只有激光在一闪一闪。

一句话:这是一个真实到必须认真、又温顺到可以自动化的实验台。

🏛️ 把"怀疑"写进制度

科学社会学家默顿(Robert Merton)八十多年前给科学定义过精神气质,其中一条叫"有组织怀疑"(organized skepticism):科学的默认姿态是怀疑,而且是有组织、有制度的怀疑——论文要同行评审,实验要可复现,结论要过对照组。

AI 自动研究系统最大的陷阱恰好在这里。一个单体 AI 包办全流程,等于既当运动员又当裁判:它提出假设,设计实验验证自己的假设,分析自己采集的数据,写下支持自己的结论。自证偏差不需要恶意,只需要结构。

Auctopus 的设计者们把默顿那条老规矩翻译成了多智能体架构,一共六个角色:

  • 提案者(proposers):负责想研究方向,可以天马行空;
  • 首席研究员 PI:评审提案、裁决分歧、把关质量——全实验室的挑剔鬼总教练;
  • 计算研究员:独立验证理论,写代码,跑超算;
  • 实验员:守在仪器计算机前,管数据采集;
  • 经理:跨角色协调,记日志,发现系统性的死角;
  • 独立评审员:在全新对话里只拿最终论文稿写审稿意见——像真正的匿名审稿人一样,对它此前参与的任何东西一无所知。

外加一个安全智能体:人类事先写死电压和功率的硬上限,它负责盯死这条红线。

制度设计上有四根柱子,每根都对着一种已知的自欺路径:

  1. 产出与评审分离。写提案的和否提案的,住在不同的上下文里。PI 评审提案时看不见提案者"热情洋溢的动机",只看文本本身。
  2. 关键决策必须显式评审才能推进。没有一个环节能"自己觉得行"就往前走。
  3. 预测与验收标准在分析数据之前锁定。先写判据,再看数据——预注册思想的直接落地,细节见下文。
  4. 被拒的方案可以修改重提。批评用来指路,不用来处刑。

这四根柱子值得多说一句的是第三根——它堵的是人类科学刚吃过大亏的坑。2010 年代的心理学复制危机里,人们发现一个让人脸红的规律:大量"显著"结果只是数据分析者在数据里反复挑岔路挑出来的——先看数据再决定怎么分析,总能找到一条通往 p<0.05 的小径,这条小径被统计学家戏称为"花园分叉路径"。药方就是预注册的严格执行:进实验室之前把分析方案和验收标准写成公开文件,事后照章验收,禁止改道。四根柱子合起来,几乎就是把人类科学百年交的学费,逐条编译成提示词。

这间实验室的组会规则可以概括成一句大白话:每个人都必须给上一个人的产出挑错,挑不出错,会议不许散。

🚪 三十小时,七十五次拒绝

选题阶段跑了约 30 个小时。这 30 个小时里发生的事,大概是整篇论文里最不浪漫的部分——也最像真实科研的部分。

PI 一共拒绝了 75 个提案。

更有意思的是前 17 批:一个都没收。17 批提案者轮番上阵,17 批全军覆没。拒绝理由分四类:

  1. 已有结果——你想做的事别人做完了;
  2. 逻辑无效——声称虚假,或者拔高过度;
  3. 不显著——没有核心定理、平庸、把旧数学换个新名字、或者窄到不值一做;
  4. 没有可行的实验检验——想法再漂亮,无法证伪就等于没想法。

75 个拒绝里还藏着另一个问题:提案者在反复撞车。经理翻日志时发现,早期 56 个新提案里,有 52 个落进已经被否掉的"提案家族"——同一个想法换了件马甲又来了。于是经理在后续提案的指令里加了一条记忆补丁:明确排除这些方向。补丁生效后,9 个新提案探索了 7 个此前完全没被代表过的方向。

读到这里你可能会皱眉:多样性居然要靠经理打补丁补出来?这个皱眉是对的,"局限"一节我们会回来认领它。

转折发生在 PI 的一次"挖坟"。它翻回一个被拒的提案,把它点名为"最佳种子":想法本身不行,但值得救。它给出具体批评,新一组提案者据此重构——把原来基于"前导阶效应"的近似表述,换成保留对脉冲序列完整依赖的精确表述。

重构后的提案,成了最终入选的研究问题:

预测非均匀自旋系综对任意相位控制脉冲序列的响应,最少需要多少次定标测量?

翻译成日常语言:我们的合唱团有亿万个歌手,每个歌手走音的方式不一样,而且我们不知道各走音成什么样。指挥想知道:给定任意一段唱法(一串相位各异的微波脉冲),合唱团整体会唱出什么效果。**最少需要试唱几小段,才能预测任意一段?**并且,不用先搞清楚每个歌手具体是怎么走音的。

🎼 L²+1:合唱团的秘密

提案者给出的初始答案是一个上界:长度不超过 L 的脉冲序列,需要 8L²+6L+1 个独立响应函数。L=3 时,是 91 个。

PI 接手后把问题重构,并证明了一个精确结果:

L²+1 次定标,既是必要的,也是充分的——与未知的自旋误差分布无关。

L=3 时,91 直接降到 10。

这个定理值得慢慢嚼,它是全文科学含量最密的一颗糖。

为什么 L²+1 个就够? 直觉是这样的:虽然亿万颗自旋各有各的走音方式,但所有可能的"唱法"——全部长度为 L 的脉冲序列可能产生的响应——作为一个函数族,它们张成的空间只有 L²+1 维。维数是什么?就是这个合唱团会的独立唱法的数量。只要空间维数是 L²+1,那么精心挑选的 L²+1 次测量,就等于在这个空间里钉下一组坐标轴:知道任意向量在这组轴上的投影,就能算出这个向量本身。10 次定标,就是把这组十维的坐标轴钉牢;此后任何序列的响应,都只是在轴上做投影。

为什么少于 L²+1 个就不行? PI 的证法非常物理:构造两个系综。它们都物理上可容许,在你做过的所有不足 L²+1 次的定标上完全一致——测到的每一个数都一样——但在某个你没测的序列上,响应不同。既然两个世界都与你的全部数据兼容,任何预测方法在这两个世界之间都只能掷硬币。测量不到 L²+1 次,可靠的预测在原理上就不可能存在。

这个证明结构和信息论里证明信道容量必要性的思路是同一个味道:想证"少于 N 不行",就造两个在现有观测下无法区分、但本质上不同的世界。

为什么与分布无关? 你大概会问:不是不知道每颗自旋怎么失谐吗?关键在于:系综响应确实是对误差分布的平均,但这个"平均算子"的结构是固定的、已知的。你不知道分布本身,可你知道响应空间被这个平均压扁之后只剩 L²+1 维。就像你不知道合唱团里每个人具体的嗓子状况,但你知道这部歌剧的总谱一共只有十个声部。

最后,这个定理的性价比有多夸张? 每个脉冲有 5 个相位可选,长度为 L 的序列总数是 5 的 L 次方——指数增长。L=3 是 125 种,L=6 是 15625 种。定标需求却只随 L 二次增长:L=6 只需要 37 次。

这就像一张指数级巨大的考卷,你只学会了其中十道题的解法,就能解出整张卷子。原因是所有题目其实出自同一本薄薄的教科书——那本教科书只有 L²+1 页。

🧮 超算上的挑剔鬼

定理证明不是终点。计算研究员的任务是独立把结论重算一遍——注意"独立"两个字,它是制度的一部分。

它做了三件事。

第一,符号检查复现。PI 的推导被逐行重推,确认无误。

第二,重建响应空间。对 L=5、L=6 从头重建响应空间的维数,确认分别为 26 和 37,与 L²+1 严丝合缝。

第三件最有意思:压力测试那条隐藏假设。定标律的证明建立在"脉冲误差恒定"之上——每次脉冲引入的误差相同。现实里这条假设可能漏风:比如实际的旋转轴可能带有微小的、隐藏的 z 轴分量(相位旋转)。计算研究员在东京工业大学的 TSUBAME 4.0 超算上生成了 252,620 份精确有理数算术证书,逐份验证:当隐藏旋转不超过约 1.2° 时,认证过的预测误差仍压在光子噪声水平之下。换句话说,这条理论不是玻璃做的——在真实的微扰面前,它有约 1.2° 的缓冲带。

顺带,它还给出一条采集预算的定量公式:N 次采集的最坏预测均方误差 ≤ M·d_L/(N−d_L+1),d_L 就是 L²+1。要做多少统计、采多少数据,从这里直接换算,不用拍脑袋。

🎯 否决一个"能过"的实验

理论到手,进入实验设计。这一阶段,PI 做了全篇论文里最关键的一次否决——我认为它值得单独成节,因为它展示的科学品味比那个漂亮定理还要稀有。

实验目标:用扣留(withhold)的序列响应检验定标律的预测力。逻辑类似出考卷:一部分序列做定标(教过的题),留一部分不给看(考题),看定标律能否预测没教过的。

实验员拿出初始设计:9 个三脉冲定标 + 5 个更短序列的测量,预测 4 个扣留目标。统计验算过,预算也够。

PI 否决了。否决理由值得逐字咀嚼:

9 点完整网格已包含足够信息,让傅里叶插值也能定出这些目标——目标达成无法归功于定标律。

翻译一下:用网格上 9 个密集采样点预测网格附近的第 10 个点,任何受过训练的插值器("把相邻点连成光滑曲线"那种)也能蒙对。到时候实验"成功",你根本分不清是成功在定律上,还是成功在插值上。

"能预测"不等于"证明了定律"。

这句话是整个实验设计的心脏。判别性实验(discriminative experiment)的灵魂在于:给竞争假说一个公平的上场机会,并事先确认它们会输。否则你赢的不是比赛,是蒙眼赛跑。

科学史上做得最漂亮的一次判别性实验,是 1919 年爱丁顿的日食观测。它之所以可信,不在于照片拍得多清楚,而在于观测前就把话说明白了:光线偏折达到某个量级,广义相对论得分;接近另一个量级,牛顿引力得分——两个假说都被请上桌,都有明确的输赢线。Auctopus 的 PI 否决初始设计,本质是在替两个插值基线争取爱丁顿待遇:不给对手立输赢线,你自己的胜利就没有含金量。

修订版设计因此换了思路——跨长度设计:只用 5 个三脉冲定标 + 5 个 ≤2 脉冲的更短序列,共 10 次定标,留下 4 个三脉冲序列作扣留目标。五个相位取 2πk/5,即 0°、72°、144°、216°、288°。

这个设计的巧思在于:10 个定标点恰好张成定律要求的响应空间(定标律因此能给出预测),而 4 个扣留目标位于两条竞争插值规则都无法定出的位置(插值因此必败)。两条插值基线都被正式证明:对目标的预测对比度恒等于 0。

一张卷子,考定律的题和考插值的题,出在同一页纸上。

🔒 密封卷与十张底牌

防自欺的最后一道墙,在数据进来之前砌好。

所有预测规则——H 矩阵的目标展开系数、读出权重、ν 先验、对比度符号——连同全套验收标准(10 条精度判据 + 对照组,宽容差 ±20%),在分析任何扣留数据之前锁定并哈希。哈希就是把预测文本算出一串指纹、公开发布。事后任何人重算这串指纹,都能验证"你们确实没偷看答案之后再写预测"。

这就是预注册制度的数字形态:考试密封卷。考生进场之前,标准答案已经封进信封,信封上贴着人人可验的封条。

实验参数也一并固定:磁场 4.18 mT,微波 2.7503 GHz,N¹⁴ 超精细劈裂 2.16 MHz;脉冲宽 64 纳秒、间隔 152 纳秒;532 nm 绿光激发;每个 shot 约 52 微秒;响应量是归一化的光子计数。

至此一切就绪。等着的是这场戏的高潮——和一盏灯。

🕯️ 十一点四十八分

第一次正式采集跑了 36 个交替的 10 分钟子运行。

结果出来的那一刻,从纯指标看是大胜:10 条精度判据,全部通过。

然后,对照组翻车了:全局相位与参考脉冲的对照,失败。

此刻的 PI 站在全文最艰难的岔路口。10 条判据全过,把结果包装出去,外人很难挑错——判据是事先锁定的,数据是真的。PI 的判决是:不确定(inconclusive)。

这个词值得停一秒。科学里没有"差不多对",只有"被支持"和"没被支持"。像法官面对一桩证据有瑕疵的案件:宁可让真相暂时悬置,也不能判一个说不准的案子。十项判据全过、对照失败,意味着系统里有一只没被抓到的手——这只手不除掉,所有"通过"都可能是它抬出来的。

实验员开始查案。排查结果像侦探小说的第一章:

信号在采集期间漂移了。 上午,基线上升 7.6%。然后在 11:48——日志记得清清楚楚——信号跳变 2.9%。

11:48 发生了什么?

一位实验室成员,在这个时刻,开了灯。

就这么简单。一盏日光灯亮起,实验室的光学环境变了那么一点,荧光基线挪了 2.9%。没有地震,没有电网波动,没有宇宙线爆发——没有任何配得上"量子实验"四个字戏剧性的理由。只是有人觉得屋里暗,伸手按了一下开关。

事后复盘,这 2.9% 偏偏砸在实验最要害的地方。采集用了两个程序副本:全局相位程序 A 副本测 0°/120°/240°,B 副本测 60°/180°/300°。两个副本在不同的时间采样了正在漂移的信号——本应完全等价的测量,被灯光的开关抹出了系统性偏移。

读论文读到这里,我合上书想了一会儿。几十亿参数的大模型,252,620 份超算证书,L²+1 的漂亮定理——最后给结论捅刀子的,是一盏灯。而且之所以能抓住这盏灯,靠的不过是实验员老老实实读了一遍逐时漂移的日志。

科学史上最贵的误差源,往往最便宜。

⚖️ 法官不松口,工匠换工具

接下来的处置,决定了这篇论文的高度。

第一个原则:验收标准没有放松一丝一毫。判据锁过哈希,改判据等于撕封条。11:48 的灯光照出的是流程的漏洞,要修的是流程。

实验员开始修。思路是让漂移"同时且同地"落在所有等价测量上:更短的程序交替运行,试点不同的序列顺序。第一次试点,失败。第二次想出关键一招——在单个程序内部切换相位,让两类相位共享同一段漂移时间。这次,对照通过。

PI 对原运行的判决维持不变:不确定。没有因为找到根因就追认原数据——原数据在对照失败的那些时段里就是不可信的,记录在案,不翻案。

然后指定一次全新的六小时采集:随机化序列顺序,外加零脉冲对照作漂移诊断。六个小时里,激光一闪一闪,没有任何人类插手。

🏆 21600 张答卷

最终采集产出 21,600 条有效的一秒记录,组织成 720 个 30 秒的块,三种序列顺序随机化分入 120 个六块组。随机化让任何残余漂移只贡献噪声,不贡献偏差。

10 条判据,全部通过。全部对照,全部通过。

最终的成绩单是一个对比度:

S = (−T1+T2+T3−T4)/4

  • 定标律在密封卷里的锁定预测:(39.7±1.3)×10⁻³(加权计数/shot)
  • 最终实测:(40.0±0.4)×10⁻³
  • 两条插值基线:0

实验值与预测值之差不到一个标准差的三分之一。两条竞争假说预测零信号,实测信号以单侧 p ≤ 0.001 的显著性存在。

测量支持定标律的预测。 这句写进论文时,每个字都过过秤:没说"证明",说的是"支持"。不是定律被证实了,是它赢了一场事先安排好、对手有公平机会的淘汰赛。

🧍 人类到底干了什么

这支"团队"的名单值得念一遍:

  • PI:GPT-6(Pro reasoning,评审档 Extra High)
  • 提案者:GPT-5.6(extra high)
  • 计算研究员:GPT-6 Astra 最高推理档,经 Codex 调度 TSUBAME 4.0 超算
  • 实验员:Claude Fable 5(Claude Code,驻守在仪器计算机上)
  • 经理:Claude Opus 5(驻另一台独立机器,用浏览器和 SSH 协调)
  • 独立评审员:在全新对话里只拿 manuscript 写审稿意见

人类只做两件事:搭仪器,配置安全智能体(电压/功率上限由人类写死)。

按论文披露,研究遵循贝尔蒙报告的伦理框架:AI 的使用被完整披露,人类作者对内容负全责。

但也别把边界吹没了。这项工作至少有六条认真的局限:

  1. 仪器是人类搭的。从 532 nm 激光到微波链路,整个物理平台的搭建与维护不在 AI 职责清单里。AI 是在人类造好的游乐场里玩。
  2. 红线是人类画的。安全上限由人类预设。"什么算危险"这个判断,恰恰是所有自主系统里最人类的部分。
  3. 提案多样性靠补丁。52/56 的撞车率说明提案者自身的探索带着强烈结构性偏向,多样性是制度事后补出来的。没有补丁,它们可能还在那 52 个方向上打转。
  4. 样本量等于 1。一次研究、一个物理体系、一组结论。科学上讲,这是 existence proof(存在性证明):证明"这套制度能在真实物理上跑通一次"。它尚不能证明"这套制度普遍可靠"。
  5. 审稿员也只能审纸面。独立评审员拿到的是 manuscript,不是原始数据。真要在数据生成环节做手脚,它大概率抓不到——它能审叙事,审不了暗房。
  6. 账还没算。30 小时的选题马拉松、超算上 252,620 份证书、多次六小时量级的采集——这一篇论文耗费的算力与机时,换算成经费不是小数目。制度确实挡住了自欺,代价也实实在在。

这些局限没被塞进脚注,是论文自己摆出来的。这本身就是那套文化的延续:对自己狠,狠到连"狠"的限度也公开展示。

🔭 三部曲合流

到这里,"AI 做科学"三部曲的三块拼图齐了。

第一部里,AI 是立法者:在没人教过它的物理世界里凭空造出定律,并给出证明。第二部里,AI 是公证员:把人类几百年积累的计算数学逐条验明正身、登记入库。这一部里,AI 是做实验的人:选题、理论、设计、采集、否决、重来、再采集。

三个角色,同一条魂:严谨到对自己狠。

立法者的狠,在于敢在无人区立规矩,并用证明把规矩钉死。公证员的狠,在于对人类的手算结论一视同仁地怀疑,一条条过了才放行。这一篇的狠有四个刻度:拒掉 75 个提案;否决一个"看起来能过"的实验设计;对一次十项判据全过但对照失败的运行坚持"不确定"判决;11:48 那盏灯亮起时,把它如实写进论文。

默顿说科学的默认姿态是"有组织怀疑"。这篇论文真正做的事,是把这四个字从一句社会学格言,翻译成一套可运行的工程:上下文隔离的评审、显式的关键决策关口、先锁定后分析的预注册、永远给竞争假说留位置的对照设计。

回到开头那个问题:AI 能跑完全流程之后,谁来保证结论站得住?

Auctopus 给出的答案朴素得近乎老派:让批评制度化。把怀疑写进流程,让挑剔成为岗位职责,让否决有明确的否决权,让灯光亮起的那一刻留在日志里、写进论文中。

1974 年,费曼在 Cargo Cult Science 的演讲里说:第一条原则是你不能欺骗自己——而你恰恰是最容易受骗的对象。五十年后,四个研究者和七个大模型在一间无人值守的实验室里,把这句话重新演示了一遍:

——十项判据全过?不够,对照还没过。
——对照为什么没过?日志说,11:48,有人开了灯。
——找到原因,能翻案吗?不能。重来。
——重来的结果漂亮吗?漂亮。但论文里只说"支持",不说"证明"。

科学方法从来不承诺正确。它只承诺一件事:让你的错误无处遁形。

哪怕错误来自一盏灯。


【参考文献】

  • 论文:Collaborative AI agents for autonomous experimental research with solid-state quantum spins
  • 作者:El Mustapha Mansouri, Eikichi Kimura, Masato Koga, Keigo Arai(Institute of Science Tokyo,横滨,日本)
  • arXiv:2610.40589(2026-10-29 提交)→ https://arxiv.org/abs/2610.40589
  • 开源系统 Auctopus(MIT License):https://github.com/E-zClap/auctopus

#论文 #arXiv #AI #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录