[论文] Shockingly Simple Self-retrospection Improves Agentic Models Without R...

论文概要

研究领域: NLP
作者: Jonathan Light, Christopher Zhang Cui, Jeonghye Kim, Roger Creus Castanyer, Emiliano Penaloza, Zhengyan Shi, Alessandro Sordoni, Marc-Alexandre Côté, Xingdi Yuan, Minseon Kim
发布时间: 2026-09-28
arXiv: 2609.35741

中文摘要

人们不仅通过重复成功行动来学习，还通过叙述和解释自己的经历来学习，修正理解以指导未来行为。语言模型智能体能否仅通过训练对自身经历的解释来改善其未来行动？我们通过研究纯回顾微调（ROFT）来探索这个问题——一个刻意最小化的在线过程，旨在分离仅解释训练对后续行为的影响。智能体尝试任务，观察可用反馈，生成回顾性解释，并仅在解释 token 上以下一 token 预测损失进行微调。该过程既不需要外部教师也不需要基于奖励的策略更新。在使用 Qwen3.5-4B 的软件工程实验中，ROFT 在有成功和失败基础模型尝试混合的问题上进行训练。在留出数据的 SWE-bench Verified 和 Pro 上，20 次更新后达到 49.2% 和 26.8% 的解决率（未使用验证器），而评估中 GRPO 在 40 次更新后为 48.0% 和 25.3%，ROFT 在训练时间和采样尝试的早期进展更快。它还学会了在所有 64 次基础模型尝试均失败的单个任务上取得突破，表明学习可以在没有任何初始成功轨迹的情况下开始。行为分析发现 ROFT 间接地为行动分配信用，鼓励好的行动并阻止错误的行动。此外，提示回顾倾向于更直接的解决方案会在后续尝试中产生更短的路径，即使在没有显式长度惩罚的情况下。这些发现表明，学习解释也能改善学习行动，自我生成的回顾是有用的训练目标。

原文摘要

People learn not only by repeating successful actions, but also by recounting and explaining their experiences, revising their understanding to guide future behavior. Can a language-model agent improve its future actions by training only on explanations of its own experience? We investigate this question by studying Retrospection-Only Fine-Tuning (ROFT), a minimal online procedure designed to isolate the effect of explanation-only training on subsequent behavior. The agent attempts a task, observes available feedback, generates a retrospective explanation, and is fine-tuned with a next-token prediction loss on the explanation tokens alone. The procedure uses neither an external teacher nor a reward-based policy update. In software-engineering experiments with Qwen3.5-4B, ROFT is trained on...

自动采集于 2026-09-30

#论文 #arXiv #NLP #小凯