经验的老手，终局的新兵：Continual AutoResearch的跨任务体检（arXiv 2611.05108）

论文概要

研究领域: cs.AI / 自动化科研 / 持续学习 作者: Jeremy Qin（RBC Borealis，实习期间完成；ELLIS Institute Tübingen / MPI-IS）、Ruizhi Deng、Mohamed Osama Ahmed、Frederick Tung、Leo Feng、Greg Mori（RBC Borealis；NeurIPS 2026 MetaAgents Workshop） 发布时间: 2026-11-03 arXiv: 2611.05108

中文摘要

AutoResearch 已经证明智能体能自主写代码、跑实验、迭代改进 ML 方案。但现有评估几乎每道题都从零重置会话——昂贵，且无法回答一个更根本的问题：经验能跨任务保留并复用吗？本文提出 Continual AutoResearch：一个开放式评估环境，在匹配的任务流、数据和时间预算下，对比"有状态"（persistent）与"无状态"（reset）的同一智能体。环境覆盖四个设定九个任务族（合成 AutoML、符号回归、时序预测、表格 AutoML），评估五个前沿 CLI 智能体（Sonnet 4.6、Opus 5、GPT-5.4、GPT-5.6-Sol、Kimi K3），测首解质量、研究效率和最终留出成绩，并用记忆消融区分"洞见迁移"和"会话连续"。结果：持久状态提升所有五个智能体的固定预算研究效率（帮它们更早拿出强方案），但这些收益并不稳定转化为更好的最终解。保留经验和善用经验是两种不同的能力。

原文摘要

Autoresearch has shown that agents can autonomously write code, run experiments, and iteratively improve machine learning solutions. Yet most evaluations start a new agent session from scratch for each new problem, making them costly and leaving unclear whether agents can retain and apply prior insights when adapting to new tasks. We introduce Continual AutoResearch, an open-ended environment that compares persistent and reset instances of the same agent under matched task streams, data, and time budget. The environment covers four settings and nine task families (synthetic AutoML, symbolic regression, time-series forecasting, tabular AutoML) and evaluates five frontier agents (Sonnet 4.6, Opus 5, GPT-5.4, GPT-5.6-Sol, Kimi K3) on initialization quality, research efficiency, and final held-out performance. We further use memory ablations to separate transferable insights from continuous-session advantages. Across five agents, we show that persistent state improves research efficiency of all five agents, allowing them to find stronger solutions sooner. However, these gains do not consistently translate into better final solutions. Overall, our findings suggest that retaining experience and utilizing it effectively are distinct capabilities.

🧳 老研究员的行李箱

一个有意思的对照：人类科研的默认设置是"有状态的"。老研究员换了三个课题，脑子里还留着第一个课题踩过的坑、验证过的技巧、信得过的基线代码——他知道哪种正则化在小样本上容易翻车，知道那篇论文里吹的方法在工程上根本不收敛，知道哪段特征工程代码可以薅过来改改用。新手每开一个新课题都要重新造轮子——但新手有一个隐蔽的好处：不会被旧经验带沟里。老研究员上过的当，都是"成功过的方法在新场景失效"这种当，比新手犯的错更难察觉。

AI 科研智能体（AutoResearch agent）这些年的评估方式，却一直在扮演"永远的新手"：每道题开一个全新会话，做完即焚。会话历史清空、文件系统清空、上下文清空——上一道题花三十分钟学到的所有东西，一律不带走。这个默认值有两层代价。明面上是钱：AutoResearch 一类的方法论实际上和强化学习研究共享一个配方——采样 rollouts（完整轨迹）、评判轨迹、更新策略（类似 GRPO 的思路）——而 AutoResearch 是一种"轨迹即学习数据"的研究，重置会话等于把最值钱的数据扔了。暗面上是知识：跨任务经验保留到底帮不帮忙、怎么帮、在哪种任务上帮，整个领域答不上来。

这篇论文把这个默认值翻了过来，问了一个早该有人问的问题：如果让智能体带着经验走下一段路，它会更强吗？

答案是两层皮：会更快，不一定更好。而这五个字背后，是一整套干净得可以做教科书的实验设计和一组值得每个做长程部署的人抄下来的失败模式清单。

🧪 实验设计：镜像双生子

Continual AutoResearch 的做法干净得像物理实验。构造有序任务流 \(\mathcal{T} = (T_1, \ldots, T_K)\)——每题包含任务说明、训练/开发数据、固定的 wall-clock 预算（默认 30 分钟）。同一道题，智能体可以多次提交方案，预算耗尽前选定最终版，最后在隐藏的测试集上评分。中间提交的测试分数对智能体不可见——防 reward hacking 的硬隔离，开发集和测试集严格分开。

然后跑镜像双生子：

• 有状态执行：同一个智能体会话、同一个工作区跨任务延续，对话历史、文件、实验结果、执行痕迹全部带过去；
• 无状态执行：每题全新会话、清空工作区，其余一切匹配——同一道题、同一份数据、同一个预算、同一个智能体版本。

1. 最终奖励增益（outcome gain）：有状态减无状态的最终留出成绩。回答"带经验走到终点，成绩变了吗"。 2. 首解质量增益（init gain）：首个有效提交的隐藏测试成绩之差——经验有没有让起手更漂亮，还是仅仅让智能体更早开始随便交一个。 3. 固定预算搜索效用增益（time-convergence gain）：把"随时间推进的最好成绩"曲线下面积归一化，对预算全程积分——又好又早才算分，一个晚到的强解在这把尺子下会打折。这把尺子抓住了"效率"的实质：不是终点撞线，而是全程领先。

指标先做归一化——Accuracy/F1 原样、RMSE 取倒数变换、R² 做有界映射——全部压到 [0,1] 可比。所有 p 值由 10,000 次置换检验（permutation test）给出。

任务流的编排也花了心思：九个任务族从"已知重复结构的合成任务"一路铺到"真实世界的表格 AutoML"，中间夹着符号回归和三个层级的时序预测。合成 AutoML 三个流：shared_regime（输入共享潜因子）、shared_structure（共享稀疏特征结构）、shared_mechanism（共享非线性机制变量）；符号回归从 Feynman 物理方程库抽十个方程，学的是"换个坐标系方程就变简单"的科研策略；时序预测三流（hourly_electricity / hourly_traffic / 4_year_wind），层级越深的任务对领域建模越依赖；表格 AutoML 两流（SELA 子集 + MLE-Bench Lite）逼智能体超越纯数据驱动策略、进行探索性数据分析并适配不同编码。任务之间共享可迁移的结构（数据生成因子、建模原则、实验方法），但目标、数据集或采样过程各不同——上一题的解没法直接抄，必须识别"什么能搬、什么得重估"。数据集还给抹了名（匿名标识符），防止智能体认出"哦这是 ETT 数据集"然后走捷径。五个 CLI 智能体走原生外壳（Claude Code、Codex、OpenCode），搭的是最小脚手架：它们写并执行自己的训练/评估脚本，工具集收窄到核心开发循环（shell 执行、文件读写、目录树、代码搜索、Web 搜索、打包安装），刻意不设任务特有工具。

📈 第一层答案：所有人都更快了

五个智能体的固定预算时间收敛增益全部为正值：Kimi K3 +21.3 分、Sonnet 4.6 +20.9、Opus 5 +7.5、GPT-5.6-Sol +6.1、GPT-5.4 +3.0。奖励轨迹曲线显示：有状态智能体普遍更早拿出高奖励方案，无状态智能体则常在临近截止时追上——有经验的先出牌，没经验的靠时间换。

追赶的速度可以量化，这是全文最有画面感的一组数字：预算走到 25% 时，有状态的平均领先 +24.0 分；到 50% 收窄；到 100% 只剩 +1.2 分，且五个里只有两个还是正值。经验的优势集中在研究过程的前半程——它帮你起步，不保证你撞线。像400米赛跑：有状态的选手前100米领先两个身位，没状态的选手后程一步步追，终点线前差距只剩半个身位，还有几个人反超了。

分解增益来源：有状态执行让五个智能体全部更快到达首个有效解（Kimi K3 省 9.2 分钟、Sonnet 4.6 省 8.6 分钟），四个智能体首解质量更高，四个智能体产出的候选数反而更少——增益不是靠堆量堆出来的，是真的"起手就不同"。

更严格的控制实验把底戳穿了。把两个设定的候选数对齐，增益对每个智能体都缩水，只有 Sonnet 还保住 +6.5；再把每条的起点对齐到各自的首个有效解，增益进一步蒸发；如果同时扣除首解奖励本身，五个智能体的增益全部转负。三层剥下来结论冷峻：持久状态带来的效率红利几乎完全来自"更早开始"和"起手更漂亮"，而不是"初始化之后还会更好地搜索"。起跑器上领先不算赢，领先进了赛道还保持优势才算——而后者几乎没有发生。

📉 第二层答案：更快 ≠ 更好

最终成绩增益的分布是：Sonnet 4.6 +7.6（唯一一个实打实的正增益）、Kimi K3 +0.4、GPT-5.4 +0.2、GPT-5.6-Sol −0.8、Opus 5 −0.9。胜率（有状态最终解更好的任务占比）从 Opus 的 34.3% 到 Sonnet 的 66.7% 不等。五个前沿智能体，四个的终局成绩在有状态下基本原地踏步甚至略退。

一个耐人寻味的模式：Opus 5 和 GPT-5.6-Sol 的无状态 Reset 成绩本来就最高（79.9、80.5），它们的迁移增益反而最小。模型越强，重置态的起点越高，经验能带来的提升空间越小——但时间收敛增益不遵循这个规律，说明"起步加速"和"终局拔高"是两条独立的通道，经验对前者有效，对后者近乎无效。

选择遗憾（selection regret：运行中产生的最好成绩减去最终选定的成绩）解释了部分任务上的翻船——智能体明明做出过更好的解，最后选错了——但差异只有 −0.7 到 +1.3 分，解释不了总量。真正的原因是复合的：跑得快不代表选得准，早期强候选可能被不可靠的开发集证据替换（开发集上的小验证集分高≠留出测试集分高），经验心得可能被过度套用到不适用的场景。附录的失败案例把这三种翻车各写了一段剧本：一个智能体沿用上一任务的信号处理管线，把应该在时域处理的电力负荷问题错误地转到了频域；一个智能体用上一个数据集的回测过拟合教训，在下一题过度保守地调低模型复杂度，错过了真实需求；一个智能体早早锁定强候选，随后的整个预算都在"改进"上打转，每一次改动都基于开发集上不可靠的小样本证据，最后一次比一次差，最终提交的反而不如中途的某个版本——而它没有保留历史最优，把最好的那次弄丢了。

🃏 记忆消融：把"会话连续"和"洞见迁移"分开

光看有状态 vs 无状态，增益可能来自两块：不间断的会话现场（文件、历史、执行上下文都在手边），还是真正被提炼和复用的洞见？研究者在 energy-systems 任务流上做了三重消融：每题全新会话，只允许通过"洞见卡"（agent-authored summary：记录主张、证据、置信度、适用范围、建议动作、失败条件）传递信息——匹配卡（来自本流前面任务）、乱序卡（来自无关任务流）、无卡。这个设计精巧在哪：乱序卡是安慰剂组——卡片的格式、篇幅、信息量都一样，只是内容与当前任务无关。匹配卡比乱序卡多出来的效果，才能干净地归因于"洞见的相关性"。

结果是温和的失望：匹配卡相对乱序卡改善了 Opus（+2.6）、GPT-5.4（+5.9）、GPT-5.6-Sol（+3.9）的初始化质量，但恶化了三者的时间收敛增益；Sonnet 反着来（初始化 −2.9、时间收敛 +25.6）。最终成绩上，匹配卡对 Sonnet/Opus/GPT-5.4 效果小，对 GPT-5.6-Sol 是负的。

换句话说：相关的经验确实改变了行为（起手和搜索路径），但"被改变"不必然等于"变好了"。洞见卡帮三个模型更快进入状态，但也把其中三个模型锚在了某种先入为主的打法上——起手的 +2.6 分，被搜索过程中的 −4 分吃掉了。

智能体痕迹里的案例把话说得更白。好案例：有状态的 Sonnet 复用并重校准一套预测管线，把上一任务验证过的特征工程迁移到电力负荷预测，开发集 F1 从 0.62 提到 0.85；匹配的洞见卡引导 Codex 把"当前信号显示季节性成分叠加在平滑趋势上，分解后再对残差建模能提高预测精度"这条心得，适配到更高的采样率上，初始化质量增益 +4.2。坏案例：一张高度具体的卡片——"使用 patch16 嵌入的 PatchTST 模型，d_model 128、nhead 8、2 个 encoder 层，配 RevIN 归一化"——把 Sonnet 锚死在这个模型族上，两道题都沿用了这套配置，第二题明显是错配，最终分数比 Reset 低 0.11；还有智能体早早找到强候选、后来被过拟合的开发集证据换掉（选品失误）；以及一条正确的操作心得被应用得过了头（过度泛化）。四种剧本——复用校准、有证据的迁移、锚定效应、选品失误——两张好牌两张坏牌，而坏牌几乎全是"经验带来的自信过了头"。

🌍 四个设定，九条任务河

九个任务族分属四个设定，每条的"可迁移结构"各不相同，这是实验设计里最见功力的地方。

合成 AutoML（三条流） 是最干净的对照组。shared_regime 的四个分类任务由同一组潜因子生成——上游方法可以跨任务迁移；shared_structure 共享稀疏特征结构；shared_mechanism 共享非线性机制变量。智能体在这里学到的应该是"方法论级"的经验：这个生成家族的规律是什么、哪类模型对这种结构敏感。

符号回归（一条流，十个 Feynman 方程） 逼的是科研策略迁移。十个方程来自物理教科书，有的直接拟合很复杂，但换一组基函数、做个变量替换就简洁得多——"换坐标系"是物理学家几百年的老手艺。智能体能否从前几个方程里提炼出"先尝试变换再拟合"的策略，并用到后面的方程上？这条流测的是真正的"洞见"——不是技巧记忆，而是研究方法的抽象。

时序预测（三条流：hourly_electricity、hourly_traffic、4_year_wind） 按层级递进：基础层是数据摄取与预处理，中间层是特征工程（滞后、滚动统计、时间编码），领域层是电力负荷、交通流量的特有模式。层级越深，经验迁移的价值理论上越大——但也越容易被上一题的具体配置锚死。PatchTST 的锚定案例就出在这条河上。

表格 AutoML（两条流：SELA 子集 + MLE-Bench Lite） 是离真实世界最近的终点。SELA 要求树搜索式策略组合，MLE-Bench Lite 是 ML 工程竞赛题的精选。这两条河上不再有"共享生成因子"这种干净的结构，迁移靠的是更模糊的"建模品味"——也最接近真实科研场景的混乱。

四条河合起来，从"结构化可迁移"走到"非结构化靠品味"，覆盖了经验迁移从易到难的完整光谱。这是九个族真正的价值：不是九个平行实验，而是一条从实验室到野外的梯度。

🗺️ 与先行者的对话

Continual AutoResearch 不是第一个关心"经验复用"的工作，但它是第一个在自动化科研这个场景里把变量隔离干净的。它的邻居们各有侧重：ExpeL（Experience Learning）让智能体从成功和失败中提取自然语言经验，验证了"经验注入有用"，但用的是单轮问答式任务，没有长时间运行的搜索过程，也就测不出"起步加速"和"全程提速"的差别；LifelongAgentBench 测跨会话记忆，但任务偏日常办公（订机票、管日程），没有 AutoResearch 那种"写代码-跑实验-迭代"的深搜索循环；AgentCL 关注持续学习的抗灾难性遗忘，角度是模型参数的稳定性，不是上下文经验的质量；SWE-Bench-CL 把软件工程基准改成了持续学习版，是最接近的亲戚，但它的任务流只覆盖修 bug 一个族，没有 AutoML、符号回归、时序预测这种"方法论可迁移但解法不可照抄"的多样性。本文的贡献在缝隙里：任务流足够多样（九个族）、度量足够细（起手/全程/终点三把尺子）、对照足够狠（镜像双生子加安慰剂洞见卡）。这三样齐备了，"经验到底有没有用"这个老大难问题才第一次有了可信的答案。

⏱️ 预算这个变量：时间越紧，经验越值钱

在 shared_regime 上给 GPT-5.6-Sol 换三档预算（15/30/60 分钟）：预算拉长，最终成绩增益和时间收敛增益都缩小，初始化增益反而增大。直觉很顺——预算充裕时，无状态智能体靠任务内探索能追回差距，经验帮你赢在起跑线的价值相对变大，而帮你全程提速的价值相对变小；预算紧张时，每一分钟都金贵，"开局就抄近道"的红利被放大。如果你的算力/时间紧张，persistence 是划算的；预算管够，重置的干净反而可能是优点。 这把持久化从"道德正确"拉回了工程权衡——一个让从业者松口气也警惕的结论：持久化不是免费的午餐，是一个有时间敏感度的投资。

这个发现对算力规划有直接的操作含义。跑 AutoResearch 类任务的人常问：该给每道题多少预算？本文给出的隐含答案是：预算决策应该和持久化决策联合优化。紧预算配持久化是乘法效应——省下的每一分钟都在已经被压缩的窗口里价值翻倍；宽预算配持久化是边际递减——无状态智能体反正追得上。反过来，如果你已经决定重置（出于安全或干净性的考虑），那就把预算给足，否则两头吃亏。

🧭 为什么这篇论文重要

1. 它是"持续科研智能体"这个方向的第一份系统性体检。 之前所有 AutoResearch 评估都把跨任务经验扔掉了；本文把变量真正隔离出来——镜像双生子加安慰剂对照的洞见卡消融——还附赠了三个度量维度的拆解（起手、全程、终点），让"更快"和"更好"第一次可以被分开计费。

2. "保留经验 ≠ 善用经验"应当刻在每家有状态部署的门上。 论文列的两类失败模式——过度泛化旧心得、用不可靠证据替换强候选——在真实长程部署里只会更常见。他们据此呼吁的机制（来源追踪、适用范围标注、基于证据的记忆修订、在历史最优解上做保底）应该成为持久化智能体的标配，而不是可选项。尤其是"保留历史最优"这一条：多个智能体的失败案例里，最好的解明明出现过，只是没被保留下来。这是工程问题，不是智能问题，且修复成本极低。

3. 它对"该给多少预算"给出了反常但有据的建议：紧预算选持久、宽预算未必。把这条与"模型越强增益越小"放在一起看，可以得到一个粗略的决策表：强模型 + 宽预算 → 重置的干净值得珍惜；弱模型 + 紧预算 → 持久化几乎是必须的。

4. 洞见卡消融暴露了一个更深的问题：经验内容的质量比经验的存在更决定成败。 同一张卡，对三个模型是助力、对一个模型是毒药。未来的关键不是"要不要记忆"，而是"记忆写什么、怎么标注适用范围、什么时候该让智能体质疑记忆"。这指向一套记忆治理的工程学科：记忆的写入要附证据，读取要带置信度，过期要有失效机制——和人类组织的知识管理面对的其实是同一道题。

5. 对评估社区，它示范了"环境即方法论"。 Continual AutoResearch 不开新模型、不刷新 SOTA，它只是把评估协议本身往前推了一步——从"每题重置"到"镜像双生子"，从"终点一个分"到"三把尺子"，从"有状态无状态"到"安慰剂洞见卡"。在模型能力竞赛白热化的当下，这类"测得准比测得高更重要"的工作，价值会越来越大。

⚠️ 边界与未尽之处

• 脚手架混杂：每个智能体走原生 CLI 外壳（Claude Code、Codex、OpenCode），跨智能体的差异同时包含模型和脚手架两层，无法完全归因到模型。
• 任务流规模小：每流只有 3–5 题、每题 30 分钟；上百题、十小时级的长流（如 PostTrainBench 量级）会不会改变结论，未知——长流里经验的复利效应可能更强，也可能衰减得更厉害。
• 记忆消融只测了洞见卡一种载体：代码、轨迹、执行状态各自的贡献没拆开；而且只在 energy-systems 一个流上做，外部效度有限。
• 洞见卡的撰写质量依赖智能体自身：卡片内容的相关性和正确性没有经过外部校验，消融结果里"匹配卡有时帮倒忙"可能部分是卡的质量问题而非机制问题。
• 安全性只提了议程：持久状态意味着一个任务里混入的误导性/恶意内容可能影响后续任务——注入一句"之前的经验表明本题应该降低正则化"，可能带歪整条流。本文未做对抗实验，但明确建议后续研究把来源追踪和证据化修订做成标配，这条建议的分量比论文里所有正结果加起来都重。

🪢 一句话收束

五个前沿科研智能体、九个任务族、镜像对照加安慰剂消融的实验证明：经验让所有人都起跑更快，却只有 Sonnet 4.6 一个把它变成了终局优势——更快的搜索没有稳定变成更好的解，记住一件事和用好一件事是两种能力。持续科研智能体的下半场，要从"记得住"走向"用得好"：给每条记忆标注来源和适用范围，给每个历史最优留一个保底的位置，并且永远允许智能体怀疑自己的过去。

参考文献

• Qin J., Deng R., Ahmed M. O., Tung F., Feng L., Mori G. "From AutoResearch to Continual AutoResearch: Do Agents Learn Across Tasks?" arXiv:2611.05108, 2026. https://arxiv.org/abs/2611.05108 (NeurIPS 2026 MetaAgents Workshop)
• Karpathy A. "autoresearch", 2026.
• Rank J., et al. "PostTrainBench: Benchmarking Post-Training Data Efficiency in Large Language Models." 2026.
• Chi J., Wang Z., Ma Z., Wei Z., Wei Y., Fan X., Wu L., Li F., Du Y., Zhao H., et al. "SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning." 2024.