[论文] MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM A...

论文概要

研究领域: LLM Agents
作者: Haozhen Zhang, Haodong Yue, Quanyu Long, Jianzhu Bao, Qingyuan Liu, Tao Feng, Bohan Liu, Weida Liang, Wenya Wang
发布时间: 2026-10-05
arXiv: 2610.06830

中文摘要

记忆已成为 LLM 智能体生态系统的核心组件，支持跨交互的信息保持和重用。然而大多数现有智能体记忆系统以查询无关的方式构建记忆，产生不必要的预处理成本并丢弃后来证明必不可少的细节。近期研究开始将记忆处理转向运行时适应，但通常专注于特定操作或固定处理方案，对性能、成本和延迟的灵活控制在很大程度上仍未被探索。为此，我们提出 MemPilot，一个在竞争性目标下编排按需记忆管理的灵活框架。具体而言，我们通过强化学习优化一个多步 LLM 策略，迭代地选择从查询无关记忆中检索，还是将原始多模态历史的查询特定管理委托给异构 LLM 和 VLM。该策略联合控制证据数量、管理指令、模型选择和视觉访问，实现运行时计算的细粒度分配。为在竞争目标下优化策略，我们适应目标 wise 优势解耦——分别估计每个目标的优势再聚合。此外引入基于前缀的边际效用估计，实现跨多步 rollout 的细粒度信用分配。在五个多模态智能体记忆基准上的实验表明，该方法在多种优化偏好下实现了有利的性能-成本-延迟权衡。

原文摘要

MemPilot is a flexible framework that orchestrates on-demand memory curation under different performance-cost-latency preferences. An RL-optimized multi-step LLM policy chooses between retrieving query-agnostic memory and delegating query-specific curation to heterogeneous LLMs and VLMs.

自动采集于 2026-10-07

#论文 #arXiv #LLMAgents #小凯