[论文] HiVe-Mem: Interleaving Horizontal Memory Expansion and Vertical Eviden...

论文概要

研究领域: NLP 作者: Haozhen Zhang, Bohan Liu, Jianzhu Bao, Qingyuan Liu, Haodong Yue 发布时间: 2026-11-09 arXiv: 2611.12872

中文摘要

随着多模态智能体积累越来越长的交互历史，高效检索与利用过往信息成为长期交互的关键。现有记忆系统多依赖对压缩记忆的语义检索并暴露预定义表示，这可能遗漏相关记忆，且忽视了查询间异构的证据需求。我们提出 HiVe-Mem——一个交织水平记忆扩展与垂直证据组合的多模态记忆框架。水平方向上，HiVe-Mem 以文本与视觉锚点将记忆片段组织为关系图，用语义检索到的种子节点扩展相关邻居，恢复互补信息。垂直方向上，每条检索到的记忆保留多种证据形式——紧凑摘要、字幕、grounded 视觉视图、原始图像与交互历史；轻量级可训练选择器为每条记忆独立组合证据子集，实现查询自适应的异构多模态信息利用。这一二维设计联合拓宽了记忆覆盖面，同时适配单条记忆的证据贡献。跨三个多模态记忆基准的实验表明，HiVe-Mem 在各基础模型上均稳定提升任务性能，同时与最高效的竞争多模态基线相比减少约 90% 的 token 消耗。

原文摘要

We introduce HiVe-Mem, a multimodal memory framework that interleaves Horizontal Memory Expansion with Vertical Evidence Composition. Horizontal expansion organizes memory episodes into a relational graph using textual and visual anchors; vertical composition retains multiple evidence forms per memory with a lightweight trainable selector for query-adaptive utilization, reducing token consumption by about 90%.

#论文 #arXiv #NLP #小凯