ReasoningBank - Agent 的"经验库"

当前的 AI 智能体（如自动网页浏览、写代码的 LLM agent）虽然能执行复杂任务，但存在一个关键局限：无法从过去的经验中学习。这导致以下问题：

• arrow_right 做任务 A 学到的经验不会帮助它做任务 B
• arrow_right 经常会重复犯同样的错误
• arrow_right 每次都像"第一次见到问题一样"去解决

这种局限性让智能体无法真正变得"越来越聪明"，限制了其在持续任务中的表现。传统记忆系统存储原始轨迹或仅成功的流程，这些系统在不同环境中表现脆弱，且缺乏跨领域的可转移性。

ReasoningBank 是一个"推理记忆库"，它让 AI 像人一样，总结经验、反思失败，从而在后续任务中做得更好。主要思路是：

1. looks_one 记录经验：每次执行任务时，AI 记录下自己的"思考过程"和"行动轨迹"
2. looks_two 自我评估：用一个 LLM 自评机制判断这次任务是"成功"还是"失败"
3. looks_3 提炼记忆：不直接保存冗长的操作过程，而是总结出简洁、可迁移的"推理策略"
4. looks_4 记忆回收再利用：当遇到新任务时，AI 会从 ReasoningBank 中检索出相关经验，用来指导当前决策

这种循环让 AI 在不断积累中"自我进化"——类似人类的"经验学习"。

ReasoningBank 包含以下几个关键组件：

{
  "title": "验证元素标识符",
  "description": "在执行操作前验证页面元素的存在和状态",
  "content": "当需要点击或交互时，先使用开发者工具检查元素是否存在、可见且可交互。如果元素不存在，可能需要等待页面加载或执行其他操作使元素出现。"
}

def retrieve_memories(query, memory_bank, k=1):
    # 将查询嵌入为向量
    query_embedding = embed(query)
    
    # 计算与所有记忆项的余弦相似度
    similarities = []
    for memory in memory_bank:
        memory_embedding = memory['embedding']
        similarity = cosine_similarity(query_embedding, memory_embedding)
        similarities.append((similarity, memory))
    
    # 返回相似度最高的k个记忆项
    similarities.sort(reverse=True)
    return [memory for _, memory in similarities[:k]]

作者进一步提出了 Memory-aware Test-Time Scaling (MaTTS)，即"记忆感知的测试时扩展"，让 AI 不仅能记，还能更快地学。MaTTS通过为每个任务分配更多计算资源来生成多样化的轨迹，从而产生更好的记忆质量。

def parallel_scaling(task, k=5):
    # 生成k个不同的轨迹
    trajectories = []
    for i in range(k):
        trajectory = execute_task(task, seed=i)
        trajectories.append(trajectory)
    
    # 使用自对比提示提取最多5个精炼项
    memories = extract_memories_from_trajectories(trajectories)
    return memories

def sequential_scaling(task, k=5):
    # 初始轨迹
    trajectory = execute_task(task)
    
    # 迭代精炼k次
    for i in range(k):
        reflection = reflect_on_trajectory(trajectory)
        trajectory = refine_trajectory(trajectory, reflection)
    
    # 从中间笔记中提取记忆
    memories = extract_memories_from_notes(trajectory.intermediate_notes)
    return memories

通过 MaTTS，AI 生成更多对比数据，从成功与失败中提取更深层次的推理规律，形成"经验—反思—记忆—再提升"的正反馈循环。实验表明，MaTTS显著增强了记忆质量，特别是在WebArena-Shopping等任务中，当k=5时，成功率提升了+5.4%。

在多个测试环境中（网页操作、软件开发等），ReasoningBank 展现了显著优势：

相比其他记忆机制，ReasoningBank 显著更稳定、更高效，可学会从失败中改进。尤其在跨任务、跨领域测试中，ReasoningBank 的效果最突出，说明它的记忆是可迁移的、通用的。消融实验证实，失败经验对成功率的贡献为+3.2%，最优检索参数为k=1。

ReasoningBank 的提出标志着 AI 智能体发展的一个重要里程碑：

• stars 建立了记忆与测试时扩展之间的协同效应：高质量的记忆将扩展引导到更有前景的路径，而丰富的经验则进一步锤炼出更强的记忆
• stars 这种正反馈循环使得基于记忆的经验扩展成为智能体的一个新扩展维度
• stars 为 AI 智能体的持续学习和自我进化提供了新的可能性

随着时间推移，策略从程序性（如"点击下一页"）演变为反思性（如"验证元素标识符"）和组合性（如"将任务与视图交叉引用"）。这种演变表明了自我进化的发生，效率提升主要发生在成功的路径上。

未来，ReasoningBank 可能会在以下方向继续发展：

• arrow_forward 更高效的记忆检索和整合算法
• arrow_forward 更复杂的记忆结构和表示方法
• arrow_forward 跨智能体的记忆共享和协作机制