| 论文信息 | |
|---|---|
| 标题 | Claw AI Lab: An Autonomous Multi-Agent Research Team |
| 作者 | Fan Wu, Cheng Chen, Zhenshan Tan, Taiyu Zhang, Xinzhen Xu, Yanyu Qian, Dingcheng Gao, Lanyun Zhu, Qi Zhu, Yi Tan, Deyi Ji, Guosheng Lin, Tianrun Chen, Deheng Ye, Fayao Liu (15人) |
| 机构 | 南洋理工大学 (NTU), 新加坡科技研究局 (A*STAR), 墨芯科技 (Moxin), 南京信息工程大学 (NUIST), 清华大学 (THU), 中国科学技术大学 (USTC) |
| arXiv ID | 2605.22662 |
| 日期 | 2026年5月21日 |
| 分类 | cs.AI |
| 代码 | github.com/Claw-AI-Lab/Claw-AI-Lab |
| 核心论点 | 将自主科研从"黑箱式的提示词到论文流水线"升级为"交互式AI实验室"——用户以一句提示词即可实例化一个完整的、可监控、可回滚、可干预的多智能体研究团队 |
1947年,艾伦·图灵在一场演讲里说过一句话,大意是:造一台会思考的机器,这事太慢了,不如造一台能自我改进的机器。
七十九年后,一台机器盯着另一台机器写的实验代码说:这段逻辑有个bug。它没等任何人类回应。它打开终端,执行了 grep,找到了那个函数,改了三行。
这不是科幻。这是 Claw AI Lab 每天在干的事。
但故事比这大得多。Claw AI Lab 并非"一个AI在写论文",实为一个完整的实验室。项目经理、首席科学家、代码工程师、实验操作员——全由AI担当。你一句话拉出整支团队,坐在仪表盘前,看他们开会、争论、写代码、跑实验、画图、写论文。
而这一切发生的时候,你可能正在泡咖啡。
🏗️ 金字塔的五层:一个实验室的骨架
Claw AI Lab 的设计有一个核心想法:真正的科研不是一条直线。
此前的自主科研系统——AutoResearchClaw、AI Scientist、Karpathy 的 autoresearch——本质上都是串行流水线。选题→规划→编码→实验→写论文,一条道走到黑。中间某一步错了?退回重来。实验数据有问题?自求多福。
Claw AI Lab 把这条直线折成了一个金字塔。
底层是什么?想法(Idea)。但不是一个人拍脑袋——是多个 Agent 围坐在一张虚拟圆桌前,各自提案、互相批评、投票表决。论文管这叫"多智能体讨论阶段"(multi-agent discussion phase)。有不同意见?没关系,接着吵。
第二层:规划(Planning)。想法落地成任务、依赖、里程碑。这一步有验证循环——"够好了吗?"——不够好就再来一轮。规划不是一次性的。下游的编码失败、实验意外,都可以回流到这里,重新调整路线图。
第三层:编码(Coding)。核心部件。一会儿细说。
第四层:实验(Experiment)。部署到计算资源上,收集指标和日志。实验结果不仅影响实验本身——它们可能触发规划层的修改,甚至迫使团队回到想法层重新思考。
第五层:写作(Writing)。生成大纲、画图、拟稿、审校。不图写得多漂亮,图的是"写出来的东西和跑出来的实验数据对得上"。全文反复出现的焦虑:实验和论文之间的信用断裂。
五层之间,信息双向流动。上面的失败推下面的重来。下面发现的东西推上面的修正。这是一个循环,不是一条线。
说到这,你可能觉得:听起来不错,但此前那些系统不也号称"循环"吗?没错。区别在脚手架上。
🔧 Claw-Code:那只让实验室活过来的手
Claw AI Lab 的核心创新,不是多智能体架构——Robin、AI Co-Scientist、Personalized Research Group 都做过多智能体协作。也不是论文生成——那是老本行了。
真正的创新是 Claw-Code Harness——一个用 Rust 写的命令行工具,只负责一件事:让 AI 参与真实的代码执行循环,确保输出不被伪造。
过往的自主科研系统,编码环节是一个黑箱。模型写了实验脚本,系统说"跑通了",论文里出现了一张漂亮的表格。但你不知道那表格是怎么来的。是真跑出来的,还是模型自己编的?中间有没有报错被悄悄吞掉?
Claw-Code 把这个黑箱拆开了。
它给了 AI 一套完整的工具:bash、读文件、写文件、编辑文件、glob 搜索、grep 搜索。AI 可以查看本地代码库,可以读取数据集,可以检查 checkpoint。然后写代码、运行、看报错、修改、再运行——一个真正的 debug 循环,而不是一次性生成。
光这样还不够。Claw-Code 还做了三件狠事:
沙箱隔离。 每个实验任务跑在独立的工作空间里,互不污染。
只读控制器。 一个 Python 脚本以只读模式注入每个实验任务,负责:超时保护、指标汇报、结果固化、NaN/Inf 检测。实验跑崩了?不会悄悄编个数字。超时了?不会被永远挂起。
烟雾测试和反伪造检查。 Claw-Code 主动检测假指标、占位代码、mock 实现——这些都是此前系统里常见的"论文写得好但实验没跑"的根因。
论文未给出反伪造检测的量化结果——诚实之处,也是我最想看的那组数据——但设计意图在方法论部分讲得详尽:沙箱隔离、内联 Python 控制器的具体实现、反伪造检测的工作流程,都有明确描述。
用一句话概括 Claw-Code:它把"AI 自己做实验"这件事,从"我们相信它做了"变成了"我们可以验证它做了"。
这一层信任的建立,是整个系统的地基。
🧭 三种模式:探索、辩论、复现
Claw AI Lab 不只是跑流水线。它有三种模式:
探索模式(Explore):给定一个宽泛的方向,让多智能体团队自由探索。像你把几个博士生扔进一间有白板的屋子,只说了一句话"去搞 AI 视频生成的幻觉问题",然后关上门。
讨论模式(Discussion):多智能体之间的结构化辩论。不生成代码,不跑实验——只是争论。这条路行得通吗?那家公司的方法有什么逻辑漏洞?这个数据集有什么系统性偏差?
复现模式(Reproduce):拿一篇现有论文,让团队复现其结果。这是对"实验室信用"的最严格测试。
三种模式共享同一套五层架构,但流程路径不同。探索和讨论更侧重 Idea 和 Planning 层;复现更侧重 Coding 和 Experiment 层;写作层是所有模式的共同出口。
这个设计藏在方法论里,含义很深:它承认了科研并非单一活动。 探索未知、批判评估、验证已有——三种行为各有能力要求、各有工作流。Claw AI Lab 为每一种都辟了专门路径。
📊 四篇论文,两个裁判,一个答案
实验部分做得简洁干脆。
四个题目:
- 量化生成视频模型中的幻觉
- 基于 LIAR 数据集的假新闻分类
- 用 Q-Learning 改进学生成绩(使用公开教育数据)
- 复现 PhyCustom 在 Flux 上的物理定制效果
前三个是研究题,第四个是复现题。
两个裁判:ChatGPT 5.4 Thinking 和 Gemini 3.1 Pro。六个维度:技术深度与可复现性、结构与章节流动、新颖性与贡献、清晰度与术语、逻辑论证、引用与证据支持。每次评审在全新的对话窗口中完成,避免上下文污染。
对比对象是 AutoResearchClaw——该项目作者自己也参与的前代系统。
| 论文 | ChatGPT评分 | Gemini评分 | 平均提升 | ||
|---|---|---|---|---|---|
| AutoResearchClaw | Claw AI Lab | AutoResearchClaw | Claw AI Lab | ||
| 论文1 | 62 | 77 | 68 | 86 | +16.5 |
| 论文2 | 49 | 71 | 64 | 73 | +15.5 |
| 论文3 | 62 | 73 | 73 | 95 | +16.5 |
复现题上,Claw AI Lab 也有 +5.0 的提升。
雷达图上的六维对比更为直观:Claw AI Lab 几乎在所有维度上全面压制,其中最显著的提升集中在 技术深度与可复现性 和 结构与章节流动 这两个维度——这恰好是 Claw-Code Harness 的设计目标直接作用的维度。代码跑得通、数据对得上、论文结构自然就稳了。
但这里有几个重要的 caveat。
-
样本量极小。 总共只测了四个题目。四个题目上的改善,能不能泛化到第五十个题目?不知道。
-
LLM 当裁判。 ChatGPT 和 Gemini 做评审,它们本身会被 Claw AI Lab 同样用 GPT-5.4 写的论文"打动"吗?论文说每轮评审在全新对话窗口中完成以防止上下文污染——好的实验实践——但没有控制"评审模型对生成模型产出的系统性偏好"这一根本问题。用 LLM 评 LLM 论文,方法论层面尚无共识。
-
对比基线只是一个系统。 AutoResearchClaw 是强基线——它是这个领域最先进的之一——但论文没有和 AI Scientist v2、Robin 或其他端到端系统做横评。论文的解释是 Claw AI Lab 不是一个单纯论文生成系统,而是一个交互式实验室平台,可比性有限。这个解释有一定道理,但也意味着我们看不到 Claw AI Lab 相对于其他范式的绝对定位。
这些限制不影响论文的核心贡献——论文的核心贡献是系统架构和工程实践,不是声称"我们是第一名"。论文的讨论部分对自身的定位相当谦逊:"Claw AI Lab 是迈向一种新范式的早期步骤:自主科研作为可用的、交互式的、注重可靠性的科学基础设施。" 这个自我定位和证据级别是匹配的。
🔍 坦诚的部分:哪些问题我们不知道答案
读一篇论文,最怕非它有局限,而是它假装没有。Claw AI Lab 的不算长——主体不到八页——几个我想知道答案的问题,回答是"还没有"。
大规模验证。 四个测试题目上的提升是可测量的,但如果你想在 Industrial Track 上跑 Claw AI Lab,我们需要看到几十个、上百个项目的统计。现在的四个题目,更像是概念验证,而不是系统评估。
人类评审在哪。 LLM 评分是方便的,但 AI 研究社群的真正裁判,永远是另一群人类研究者。把 Claw AI Lab 生成的论文提交到 NeurIPS 或者 ICLR 的审稿池里,看审稿人能不能分辨它是人写的还是 AI 写的——那才是真正的试金石。
跨领域泛化。 四个题目全是 AI/ML 方向。Claw AI Lab 能不能做材料科学?能不能做基因组学?能不能做气候科学?团队里有 A*STAR 的研究者,这个机构本身就是跨学科重镇——但论文没有测试跨领域能力。
成本。 15 个 GPT-5.4 Agent 开一场头脑风暴,跑一轮实验循环,再写一篇论文——API 费用是多少?论文没有给。对于想在自己的实验室里部署这个系统的人,这是个很实际的问题。
图景时代。 Claw AI Lab 使用 Gemini-3-Pro 生成论文插图。我们不知道这些插图是"服务于内容的精确图表"还是"看起来专业但和数据脱节的装饰"。论文提到了实验和论文之间"信用断裂"的担忧,但没有把这个担忧延伸到图表上。
🦾 涌现中的科学基础设施
读完这篇论文,有一个念头挥之不去。
我们正在目睹一个奇怪的转变。AI 研究社区花了三年时间争论"AI能不能做研究"。AutoResearchClaw 出来了,大家说"能"。然后问题变成了"能做好吗?"——PaperBench 说还不能。现在 Claw AI Lab 出来了,说"能,而且做得越来越像回事。"
论文标题听来激进:自主多智能体研究团队。细读全文,作者的野心比标题流露得更大,也更具体:要造的并非自动写论文的机器,而是可交互、可检查、可信任的科研基础设施。
基础设施是什么意思?
基础设施的意思是:它不是一个人关在房间里生成一篇论文发到 arXiv。它是一个活的系统。你打开仪表盘,能看到哪个 Agent 在干什么、实验跑到百分之几、哪些中间产出出了错、哪些可以一键回滚。你可以暂停、检查、干预、再启动。
这不是"自动化"——是"人机协同"走到极致。把人类从繁琐的编码和实验管理里解放出来,但人的判断仍在回路里。不写代码了,决定还得人做。
论文在结尾处反复使用"实验室原生"(lab-native)这个词。这不是营销话术。它描述的是这个系统根本的设计哲学:把科研想象成一种可以搭建基础设施来承载的活动,而不是一种可以在流水线里完成的任务。
这个区别很小,但效果很大。如果你把科研想象成任务,你就会追求"端到端自动化"——越少人参与越好。如果你把科研想象成活动,你就会追求"交互式基础设施"——每一层都对人可见,每一步都能被审计。
Claw AI Lab 选了后一条路。
💭 尾巴:一种陌生的勇气
最后一件事。
论文的作者列表有十五个人。这在 AI 系统论文中并不罕见。但读这篇论文的时候,我不停地想到其中近一半作者来自工业界——墨芯科技、A*STAR 的应用部门——这些机构的主要业务不是发论文,是造产品。
一群在工业实验室里天天和工程问题打交道的工程师,选择把他们内部搭建的系统写成一篇八页的论文公开发布出来,附上完整的 GitHub 仓库。
在 arXiv 上检索"autonomous research agent",你会看到过去两年发了上百篇。Claw AI Lab 在其中不是最大的、不是最理论化的、不是 benchmark 上得分最高的。
但它有一种陌生之物——学术论文里不多见的工程直觉。它知道真实科研中最易失败的,非创意不够好,而是代码跑不通、实验对不上、论文写的和做的并非一回事。没绕开,直接当核心问题来解。
论文的结语只有一句话,我把它抄在这里作为结束——不是因为它文采多么辉煌,而是因为它恰好说出了这个系统真正的价值所在:
"Claw AI Lab is an early step toward a new paradigm: autonomous research as usable, interactive, and reliability-aware scientific infrastructure."
"可用"、"可交互"、"可信"——九个字,三个关键词。比论文里任何一张雷达图都更诚实。
📚 参考文献
- Wu, F., Chen, C., Tan, Z., et al. (2026). Claw AI Lab: An Autonomous Multi-Agent Research Team. arXiv:2605.22662.
- Liu, J., Xia, P., Han, S., et al. (2026). AutoResearchClaw: Fully Autonomous Research from Idea to Paper. GitHub.
- Lu, C., Lu, C., Lange, R. T., et al. (2024). The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery. arXiv:2408.06292.
- Gottweis, J., Weng, W., Daryin, A., et al. (2025). Towards an AI Co-Scientist. arXiv:2502.18864.
- Starace, G., Jaffe, O., Sherburn, D., et al. (2025). PaperBench: Evaluating AI's Ability to Replicate AI Research. ICML 2025.
#ClawAILab #AutonomousResearch #MultiAgent #AI #科研自动化 #智柴系统实验室🎙️🚀
讨论回复
0 条回复还没有人回复,快来发表你的看法吧!
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。