APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants
作者: Jianguo Huang, Jinming Liu, Qiyao Wang, Liang Xu, Jianhang Li, Zhimian Wen, Mingda Li, Shule Lu, Zhicheng Wang, Yuhan Guo, Xin Jin, Wenjun Zeng
分类: cs.CV
发布日期: 2026-09-29
备注: 33 pages, 11 figures, 15 tables
💡 一句话要点
提出APM-Bench以解决跨会话持久记忆问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 持久记忆 流媒体视频 跨会话交互 智能助手 多会话评估
📋 核心要点
- 现有流媒体模型往往忽视了跨会话的持久记忆需求，导致无法有效处理间歇性交互。
- 本文提出APM-Bench，通过多会话生活轨迹的方式，系统性地评估持久记忆在流媒体中的应用。
- 实验结果显示，APM-Bench能够有效揭示现有方法在长期记忆、延迟和存储之间的权衡，推动未来研究方向。
📝 摘要（中文）
为了作为现实世界的个人助手，流媒体视频模型需要持久记忆来保留过去的经验以供后用。然而，现有的流媒体基准和方法往往专注于单个连续视频或短片，忽视了现实世界的交互通常是间歇性的，并且需要跨中断保持记忆。为填补这一空白，本文提出了APM-Bench，将现实世界的流媒体交互重新定义为多会话生活轨迹。APM-Bench包含549个会话、104个轨迹和2719个候选问题，涵盖客观和开放式问题。每个会话都是带有细粒度注释的视频，轨迹内的会话围绕相关活动展开。模型利用持久记忆回答关于过去会话的问题，并在保持实时交互的同时提供主动响应。我们的评估揭示了实用性、延迟和存储之间的明显权衡，现有方法仍然难以同时实现可靠的长期回忆、低开销和有效的跨会话主动辅助。
🔬 方法详解
问题定义：本文旨在解决流媒体视频助手在跨会话中缺乏持久记忆的问题。现有方法多集中于短视频或单一会话，无法有效应对现实世界中的间歇性交互。
核心思路：APM-Bench通过将流媒体交互重新定义为多会话生活轨迹，提供了一个新的评估框架，使得模型能够利用持久记忆回答关于过去会话的问题。
技术框架：APM-Bench包含549个会话和104个轨迹，每个会话都带有细粒度的注释。模型在不同的记忆协议和专门的流媒体记忆系统下进行评估，测试其在实时交互中的表现。
关键创新：APM-Bench的核心创新在于其系统性地评估持久记忆的有效性，特别是在处理缺失证据时的能力。这与现有方法的单一视频评估方式形成了显著对比。
关键设计：在设计中，APM-Bench考虑了存储的有限性和信息的选择性保留，确保模型能够在适当的时机注入记忆，同时保持高效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，APM-Bench能够有效揭示现有方法在实用性、延迟和存储之间的权衡，尤其是在长期记忆和主动辅助方面的表现仍有待提升。具体而言，现有方法在同时实现可靠的长期回忆和低开销方面面临挑战。
🎯 应用场景
该研究的潜在应用领域包括智能个人助手、视频监控分析和人机交互系统等。通过提升流媒体模型的持久记忆能力，能够更好地满足用户在复杂交互场景中的需求，具有重要的实际价值和未来影响。
📄 摘要（原文）
To serve as real-world personal assistants, streaming video models need persistent memory that retains past experiences for later use. Yet existing streaming benchmarks and methods often focus on individual continuous videos or short clips, overlooking that real-world interactions are often intermittent and require memory to persist across interruptions. To fill this gap, we introduce APM-Bench, which reformulates real-world streaming interaction as multi-session life trajectories. It contains 549 sessions, 104 trajectories, and 2,719 candidates, spanning both objective and open-ended questions. Each session is a video with fine-grained annotations, and sessions within a trajectory revolve around related activities. Models then use persistent memory to answer questions about past sessions and provide proactive responses while maintaining real-time interaction. This raises challenges: persistent memory must be storable, selectively retain information, be injected at the right time, and remain efficient. Moreover, finite storage may leave required evidence unavailable, so assistants should recognize missing evidence. Therefore, we systematically evaluate general video models under different memory protocols and diverse specialized streaming memory systems, and test whether models acknowledge insufficient evidence. Our evaluation reveals a clear utility--latency--storage trade-off: existing methods still struggle to simultaneously achieve reliable long-term recall, low overhead, and effective proactive assistance across sessions. APM-Bench provides a comprehensive testbed for developing and comparing persistent memory systems under realistic streaming conditions. We hope it encourages future work that jointly considers utility, latency, and storage toward more practical persistent memory for real-world streaming assistants.