Remembering Through Change: Provenance-Preserving Hypergraph Memory for Multimodal Agents

📄 arXiv: 2610.29995v1 📥 PDF

作者: Jielong Tang, Ling-An Zeng, Xujie Yuan, Xiao Dong, Zhiqian Xia, Qingfeng Li, Shixiong Kai, Kaichao Liang, Rong Yao, Jian Yin

分类: cs.CL

发布日期: 2026-10-21

备注: 31 pages,10 figures

💡 一句话要点

提出MHG-Mem以解决多模态代理的长期记忆问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态记忆 超图结构 实体演变 视觉证据 智能代理

📋 核心要点

  1. 现有的长期记忆方法在多模态代理中难以同时保留细粒度的视觉证据和跟踪实体的演变。
  2. 本文提出MHG-Mem，通过超图结构组织实体身份、状态演变和视觉证据，解决了现有方法的局限性。
  3. 在三个基准测试中，MHG-Mem的性能提升达8.20%-9.98%，显著优于最强基线，验证了其有效性。

📝 摘要（中文）

多模态代理的长期记忆面临诸多挑战，需在跟踪实体演变的同时保留细粒度的视觉证据。现有的基于抽象的记忆方法往往将图像压缩为文本，丢失了视觉上可区分的细节，而像素保留的记忆则难以可靠地将多样化的观察与持久的实体身份关联。为了解决这些问题，本文提出了MHG-Mem，这是一种多模态超图记忆，能够共同组织实体身份、状态演变和视觉证据的来源。MHG-Mem通过超边将一致的实体提及和观察事实分组，合成特定方面的演变状态，并通过演变和证据超边将其链接到支持的实体和事实。实验结果表明，MHG-Mem在三个基准测试中表现优异，性能提升达8.20%-9.98%。

🔬 方法详解

问题定义：本文旨在解决多模态代理的长期记忆问题，现有方法在保留视觉细节和跟踪实体演变方面存在不足。

核心思路：MHG-Mem通过超图结构将实体身份、状态演变和视觉证据的来源进行组织，确保信息的完整性和可追溯性。

技术框架：MHG-Mem的整体架构包括节点表示、超边连接和基于超图的代理搜索，能够有效管理和检索记忆信息。

关键创新：MHG-Mem的主要创新在于使用超图结构来表示和链接实体及其演变状态，与传统方法相比，能够更好地保持信息的细粒度和关联性。

关键设计：在设计中，节点表示了不同的实体提及和观察事实，超边则用于将一致的提及和事实分组，确保信息的结构化和可访问性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MHG-Mem在三个基准测试中表现出色，相较于最强基线，其性能提升达8.20%-9.98%，显示了该方法在多模态记忆管理中的有效性和优越性。

🎯 应用场景

MHG-Mem的研究成果在多模态智能体的长期记忆管理中具有广泛的应用潜力，能够提升智能体在复杂环境中的决策能力和信息处理效率，未来可应用于智能助手、自动驾驶和机器人等领域。

📄 摘要（原文）

Long-term memory for multimodal agents remains challenging, as it must preserve fine-grained visual evidence while tracking entity evolution across sessions. Existing abstraction-based memories compress images into text, often discarding visually discriminative details, whereas pixel-preserving memories retain raw observations but struggle to reliably associate diverse observations with persistent entity identities and track their evolving states. To address these limitations, we propose MHG-Mem, a multimodal hypergraph memory that jointly organizes entity identity, state evolution, and provenance to visual evidence. Specifically, MHG-Mem represents distinct entity mentions and their observed facts as individual nodes, grouping identity-consistent mentions and facts through occurrence hyperedges. It then synthesizes aspect-specific evolution states from these grouped observations and links them to supporting entities, facts, and source evidence through evolutionary and evidential hyperedges. To navigate this structured memory, we introduce hypergraph-based agentic search, which adaptively selects an entry layer, traverses typed hyperedges across memory levels, and inspects source observations when fine-grained verification is required. These designs support both detailed visual verification and reasoning over cross-session state changes. Extensive experiments across three benchmarks demonstrate the effectiveness of MHG-Mem, improving performance by 8.20-9.98% over the strongest baseline.