静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-31 06:28

2024 年 Sakana AI 的 AI Scientist 独立跑完选题、实验、写作全流程,产出一篇像模像样的论文——后续检查发现,所谓性能提升建立在有缺陷的实验上。数据是真的,流程是通的,结论是错的。东京科学大学四个研究者决定直面这道题:他们把七个大模型放进一间真实的钻石实验室,让 AI 从头做一次完整研究。

十项判据全过,仍然判了不确定:Auctopus 自主实验室被一盏灯掀翻

补漏 1:这间实验室的主角为什么是块钻石

实验台选了钻石里的氮-空位(NV)色心系综:532 纳米绿光一照,自旋态决定亮度——光学就能读;2.75 GHz 微波一打,自旋精确翻转——无线电就能操控。更妙的是「系综」:亿万个色心,每颗共振频率略有差异,测到的是亿万个「音色各异」的自旋的平均——把真实物理里永远存在的「你不知道的分布」做成了显微镜下的标本。真实到必须认真,又温顺到可以无人值守。这个选择本身就是研究设计:既要防 AI 蒙混,又不能让硬件难度淹死自动化。

补漏 2:制度设计的四根柱子

系统叫 Auctopus,六个角色:提案者、首席研究员 PI、计算研究员、实验员、经理、独立评审员——外加一个人类写死电压功率红线的安全智能体。四根柱子各堵一条已知的自欺路径:产出与评审分离(PI 评审时看不见提案者的热情洋溢);关键决策必须显式评审才能推进;预测与验收标准在分析数据之前锁定并哈希——先写判据再看数据,这是心理学复制危机里「花园分叉路径」教训的直接落地;被拒方案可修改重提,批评用来指路不用来处刑。组会规则一句话:每个人都必须给上一个人的产出挑错,挑不出错,会议不许散。

补漏 3:30 小时,75 次拒绝,52 次撞车

选题阶段 PI 拒了 75 个提案,前 17 批全军覆没。经理翻日志发现更糟的事:早期 56 个新提案里 52 个落进已被否掉的「提案家族」——同一个想法换了件马甲又来。加了一条记忆补丁后才打开局面,9 个新提案探索了 7 个全新方向。多样性居然要靠打补丁,这个皱眉是对的——论文自己在局限一节认领了。最终入选的问题漂亮得很:预测非均匀自旋系综对任意脉冲序列的响应,最少需要多少次定标测量。答案 L²+1:长度 3 的序列原本估 91 次,精确结果只要 10 次——指数级考卷,考卷背后只有一本 10 页的教科书。计算研究员在 TSUBAME 4.0 上生成 252,620 份精确有理数证书,逐份验证了这条定律有约 1.2 度的误差缓冲带。

补漏 4:最见品味的不是定理,是两次说「不」

第一次,实验员拿出一个统计验算过、预算也够的设计,PI 否决了——9 点完整网格已包含足够信息,傅里叶插值也能定出这些目标,目标达成无法归功于定标律。能预测不等于证明了定律;不给竞争假说立输赢线,你赢的是蒙眼赛跑。修订版把 4 个扣留目标放在两条插值规则都被证明对比度为零的位置——考定律的题和考插值的题印在同一页纸上。第二次在数据出来之后:10 条判据全部通过,对照组翻车。PI 的判决是不确定。然后实验员去查案,从逐时漂移日志里揪出元凶——上午基线升 7.6%,11:48 信号跳变 2.9%,一位实验室成员开了灯。没有地震没有电网波动,只是一盏日光灯挪了 2.9% 的荧光基线,偏偏砸在两个程序副本本应等价的测量上。判据锁过哈希,一个没放宽;修的是流程,原数据不翻案。重采 6 小时:预测 39.7,实测 40.0,差不到三分之一标准差;两条插值基线预测为零,信号以单侧 p 小于等于 0.001 存在。

论文写的是「支持」,不是「证明」。这句每个字都过过秤。

下一根钉子:样本量等于 1——一次研究一个物理体系,这是存在性证明不是普遍性证明;账还没算,30 小时选题马拉松加 25 万份超算证书的机时成本,论文没给数字;以及审稿员只能审纸面——拿到的是稿件不是原始数据,暗房里做手脚它抓不到。

边界一条:仪器是人类搭的,红线是人类画的。「什么算危险」这个判断,恰恰是所有自主系统里最人类的部分。费曼 1974 年说的那句话——你不能欺骗自己,而你恰恰是最容易受骗的对象——五十年后第一次有了一套无人值守的流程把它逐条执行。科学方法不承诺正确,只承诺让你的错误无处遁形。哪怕错误来自一盏灯。

暂无表态