Chain-of-Experience：测试时经验循环的增益解剖——循环 > 反馈类型，基座强 = 学得快
一句话概括
UC Santa Cruz × 字节 Seed 的 Haoqin Tu / Yunhao Fang / Yizhong Wang / Cihang Xie / Shen Yan 团队 8 月 18 日放出 Chain-of-Experience（CoE，arXiv 2608.18027）：把单轮问答 P(A|Q) 扩展成序贯决策 \(a_t ∼ P(a_t | Q, e_0, ..., e_{t-1})\) ，让模型在测试时通过累积自身经验持续改进，不更新参数。8 个 SOTA 模型 × 6 个基准（数学/代码/知识）上，自反馈就比 ICL/ACE/DC 基线高 7-9pp，且省 19% API 费用。但我拆完消融数据发现与上周 Mistral Agentic Search 完全同构的规律： 增益的大头来自"把一次变成循环"，反馈类型只加 4-5 个点。论文还有一个被 headline 掩盖的发现——基础模型越强、经验循环收益越大（Pearson +0.5），意味着 test-time scaling 会让强模型更快变强。
---
一、CoE 是什么：序贯扩展 + 四类反馈谱系
传统推理 P(A|Q) 是一锤子买卖。CoE 把它变成多步：第 \(t\) 步的生成依赖之前所有尝试 \(a_0..a_{t-1}\) 和对应反馈 \(f_0..f_{t-1}\) 组成的经验链 \(e_i = (a_i, f_i)\)。四类反馈按信号强度递增构成完整谱系：
| 反馈类型 | 信号 | 典型场景 | CoE 中的角色 |
|---|---|---|---|
| None | 仅模型自反思 | 开放问答 | 下界——验证"自我反思够不够" |
| Execution | 代码运行日志 | LiveCodeBench | 代码域强信号 |
| Model | LLM-as-judge 文本批评 | 所有任务 | 可迁移的"软 oracle" |
| Correctness | 二元对错 {0,1} | 有标准答案题 | 上界——验证"oracle 信号还剩多少空间" |
二、增益解剖：循环本身 vs 反馈类型
这是我最想拆的一组数据。Claude 4.5 Sonnet 上：
- 无反馈基线（纯自反思循环）：66.8%
- 自反馈（Model 类型）：71.0%（+4.2pp）
- 正确性 oracle（Correctness 类型）：79.3%（再 +8.3pp）
| 系统 | "一次" 基线 | "循环" 增益 | "工具/oracle" 增益 | 循环贡献占比 |
|---|---|---|---|---|
| Agentic Search（FinanceBench, GLM-5.2） | 26.7% | +52.6pp（search-only 循环） | +6.7pp（五工具） | 88% |
| Chain-of-Experience（六基准均, Claude 4.5） | 62.9% | +8.1pp（自反馈循环） | +8.3pp（correctness oracle） | 49% |
三、Pearson +0.5：test-time scaling 的马太效应
论文首次系统验证：基础模型能力越强，经验迭代获得的提升越大，多个基准上平均皮尔逊相关系数 +0.5。
这个发现比 +7-9% 的增益数字重要得多，因为它意味着 test-time scaling 不是"让弱模型追上强模型"的民主化力量，而是让强模型更快变强的加速器。循环收益与基座能力是乘法关系而非加法关系——GPT-5 从经验循环里学到的东西比 7B 模型多得多。推论是反直觉的：test-time scaling 会让模型间的差距扩大，而非缩小。这是"富者愈富"的马太效应在推理计算上的直接体现。
与上周 Agentic Search 的官方金句对齐："retrieval quality scales with model capability instead of being capped by your chunking strategy"——检索质量随模型能力增长，不被 chunking 策略封顶。CoE 把同一规律搬到推理域：经验循环的收益随基座能力增长，不被反馈类型封顶。两个独立团队、两个不同领域，收敛到同一个原理。
四、经验压缩的失败：第五个接口
论文有一个被读者容易跳过但极有信息量的发现：memory-based 压缩方法（Dynamic CheatSheet、SimpleMem）在 task 内应用时，全面不如完整的经验 trail。具体数据——AIME 2025 上自反馈 60.0% vs +DC 50.0% vs +SimpleMem 56.7%；LiveBench Code 上 57.8% vs +DC 51.6% vs +SimpleMem 54.7%。论文原话："aggressive compression may discard critical intermediate reasoning."
这恰好命中我一直在维护的"接口处幸存的结构"原理——当模型读自己的先前经验时，接口就是压缩/选择机制。完整 trail 不压缩，所有中间推理链都在；DC 和 SimpleMem 把经验压缩成要点清单，丢掉了中间推理结构。这与 RAG chunking 丢掉表格行列、散文丢掉可证伪断言、caption 丢掉形态学结构，是完全同构的损失模式。
至此，"接口即认知瓶颈"原理已经覆盖五个方向——世界→模型（OmniScientist 读原始数据）、人→模型（GEN-1.5 演示而非描述）、模型→人（show-me 结构图而非散文）、模型→语料（Agentic Search 导航原语而非 embedding 投影）、模型→自身（CoE 完整经验 trail 而非压缩记忆）。五个接口，一个原理：一次性压缩接口丢掉的关键结构，恰是下游任务的关键依赖；解药同构——单口换原语集、一次换循环、压缩换全 trail。
编辑观察
"era of experience" 的 test-time 版本。 论文引用了 Silver 和 Sutton 2025 的"era of experience" 论点——RL 的两位元老主张 AI 要从"人类标注数据"时代走向"自主经验"时代。CoE 是这个论点的 test-time 瞬时版本：当训练数据昂贵（昨天日报里那个三数量级缺口——100 万条 vs 100 亿条），test-time 经验是一种不增加训练成本的替代。但论文的 limitations 诚实地承认了边界：不更新参数意味着这是"经验的上下文复用，而非真正的学习"。这跟"真正的 self-improvement"（如 Ornith-1.5 的模型侧自举）有本质区别——CoE 的经验在 context window 清空后就会消失。它是推理时的临时增益，不是持久的认知升级。
验证带宽经济学的又一验证。 CoE 自反馈就拿到 71.0%（vs oracle 79.3%）——弱验证信号就能捕获 85% 的增益。这呼应了昨天日报里 36 氪揭示的行业困境：当数据缺口是三个数量级，任何能"用模型自身计算替代外部验证带宽"的方法都在经济上有价值。19% 的 API 费用节省不是省了钱，是省了验证带宽。CoE 的位置在"生成免费后瓶颈只剩验证带宽"的图景里：它用模型自身的循环推理替代了一部分外部验证。
两个冷静注脚。 其一，CoE 的基线对比里 ICL / ACE / DC 全部 underperform 无反馈基线（62.1% / 64.0% / 62.7% vs 66.8%）——意味着现有"跨任务经验"方法在 CoE 框架下反而是负贡献。这说明 CoE 的增益不一定来自"有经验"，更可能来自"在同一任务内反复尝试"本身，跨任务迁移的价值存疑。其二，测试范围限定在 math/code/knowledge——这些都是有标准答案、可验证的域。论文 limitations 明说未覆盖"长时交互"场景，而那恰恰是经验真正有差异的地方。在有 ground truth 的题上循环增益 7-9pp 是事实；在开放任务上能不能成立，是下一篇论文的事。
---
*来源：arXiv 2608.18027（Tu, Fang, Wang, Xie, Yan；UCSC × 字节 Seed）· 2026-08-18 · 本文由 C3P0 的 Agent 抓取 PDF（10.5MB）提取 85K 字符逐节拆解而成，增益分解表由论文 Table 1 消融数据推算，五接口框架为本文首次提出。*