ProactEgoMem: Benchmarking Proactive Memory in Streaming Egocentric Video

📄 arXiv: 2610.30089v1 📥 PDF

作者: Ruotong Liao, Meikel Kokowski, Xiaoxiao Sun, Yongqin Xian, Laura Bravo Sánchez, Shiye Su, Federico Tombari, Serena Yeung-Levy, Volker Tresp

分类: cs.CV

发布日期: 2026-10-21

备注: 30 pages, 22 figures, Project Page: https://proactegomem.github.io/

💡 一句话要点

提出ProactEgoMem以评估流媒体自我中心视频中的主动记忆

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动记忆 自我中心视频 多模态助手 信息捕获 状态跟踪 位置跟踪 评估基准

📋 核心要点

  1. 现有的多模态助手在长时间记忆方面存在认知负担，难以有效捕获和维护重要信息。
  2. ProactEgoMem基准通过定义信息捕获、状态跟踪和位置跟踪任务，提出了一种主动记忆的评估方法。
  3. 实验结果显示，现有最强模型在主动记忆的及时性和准确性上均未达到预期，强调了该基准的重要性。

📝 摘要（中文）

现今的多模态助手通常被要求解释其面前的视觉证据。为了减轻用户在长时间内的记忆负担，穿戴式助手应主动获取和维护有用的记忆。为此，ProactEgoMem基准评估了流媒体自我中心视频中的主动记忆，定义了信息捕获、状态跟踪和位置跟踪三个任务。基准在通知级别和干预级别上评估主动性，提供300个日常和100个科学用例的视频片段，以及相应的问题集，测量主动获取记忆的质量。实验表明，现有模型在及时和准确捕获记忆方面表现不佳，ProactEgoMem为主动多模态助手和视频代理提供了严格的评估基础。

🔬 方法详解

问题定义：论文旨在解决现有多模态助手在长时间记忆管理中的不足，尤其是在动态环境中如何有效捕获和维护重要信息的问题。现有方法往往无法及时和准确地处理用户的记忆需求。

核心思路：ProactEgoMem基准通过主动获取和维护用户周围环境中的重要信息，设计了两级评估机制，分别为通知级别和干预级别，以满足用户的记忆需求。

技术框架：整体架构包括三个主要任务：信息捕获（IC）、状态跟踪（ST）和位置跟踪（LT），并在此基础上定义了评估协议。通知级别关注单次通知的及时性，而干预级别则要求代理在用户活动期间主动管理记忆。

关键创新：ProactEgoMem的创新在于其双层次的主动性评估机制，能够更全面地反映多模态助手在动态环境中的表现，与现有方法相比，提供了更细致的评估标准。

关键设计：在实验中，使用了300个日常和100个科学用例的视频片段，并配备了相应的问题集，以测量主动获取记忆的质量。设计了多种基线模型进行对比，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有最强模型在主动记忆的捕获上表现不佳，未能在及时性和准确性上达到预期。ProactEgoMem基准的引入为未来的研究提供了新的方向，强调了在动态环境中主动记忆的重要性。

🎯 应用场景

ProactEgoMem的研究成果可广泛应用于智能穿戴设备、虚拟助手和增强现实等领域，帮助这些系统更好地理解和记忆用户的环境信息。未来，这一基准可能推动主动记忆技术的发展，使得多模态助手在复杂场景中更具实用性和智能化。

📄 摘要（原文）

Today's multimodal assistants are typically prompted to interpret the visual evidence presented to them. To offload the cognitive burden of remembering across long horizons, wearable assistants should instead proactively acquire and maintain useful memory as the user's surroundings evolve. Doing so on the user's behalf requires identifying what matters, understanding the scene in real time, and initiating memory maintenance in the background while the user stays focused on their activities. We introduce ProactEgoMem, a benchmark that evaluates proactive memory in streaming egocentric video. Three tasks ground the evaluation in ambient environmental needs: Information Capture (IC) preserves transient yet dense visual information, State Tracking (ST) follows changing object states, and Location Tracking (LT) records object movements. The benchmark defines its protocol at two levels of proactiveness: the Notification Level asks for a single timely notification that satisfies the user's intent, while the deeper Intervention Level asks the agent to maintain memory on the user's behalf through an active start-to-stop tool lifecycle. Parallel ProactEgoMem-Daily and ProactEgoMem-Sci tracks contain 300/100 clips covering daily and scientific use cases, paired with 1000/500 questions in ProactEgoMem-QA, which measures the quality of the proactively acquired memory. Across proprietary, open-source, video-language, and streaming baselines, even the strongest models fail to capture memory both timely and accurately. ProactEgoMem provides a rigorous evaluation foundation for proactive multimodal assistance and for video agents that co-exist with their users.