MemLife: Curating and Reasoning over Long-Term Egocentric Video Memories
作者: Guangzhi Xiong, Xinyuan Zhang, Xiao Yang, Hyokun Yun, Kai Zhang, Shiun-Zu Kuo, Hyeonjeong Ha, Xilun Chen, Kai Sun, Lucas Liang, Guangqiang Dong, Ejaz Ahmed, Ahmed A Aly, Anuj Kumar, Raffay Hamid, Aidong Zhang, Xin Luna Dong
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-09-30
💡 一句话要点
提出MemLife以解决长时间自我中心视频记忆的处理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 个性化AI 记忆系统 多模态融合 强化学习
📋 核心要点
- 现有的记忆系统在处理长时间自我中心视频时，常常无法有效保存关键证据或在扩大的搜索空间中定位相关条目。
- 本文提出MemLife，一个多模态记忆系统，通过构建实体基础的文本片段并使用时间索引的读取器进行检索，解决了上述问题。
- MemLife在四个长时间基准测试中相较于最强的无训练基线提高了4.6%至12.0%，并通过MemOpt进一步优化了记忆质量。
📝 摘要（中文）
长时间的自我中心视频使个性化AI助手能够推理日常生活。然而，随着视频历史的增长，重新处理原始片段变得计算上不可行。现有的记忆系统在实际基准测试中常常无法有效保存关键证据或在不断扩大的搜索空间中定位相关条目。为了解决这些挑战，本文提出了MemLife，这是一种多模态记忆系统，构建基于实体的第一人称文本片段，并通过时间索引的代理读取器进行检索。MemLife在不需要训练或查询时访问视频的情况下，在四个长时间基准测试中相较于最强的无训练基线提高了4.6%至12.0%。为了进一步提高记忆质量，本文提出了MemOpt，一个优化记忆写入器的强化学习框架，能够生成真实、信息丰富且可检索的记忆。MemOpt在不同视频和问题分布下，持续提高MemLife的性能，提升幅度为2.7%至5.0%。
🔬 方法详解
问题定义：本文旨在解决长时间自我中心视频记忆的处理问题，现有方法在保存关键证据和有效检索相关条目方面存在不足。
核心思路：MemLife通过构建基于实体的第一人称文本片段，并利用时间索引的代理读取器进行检索，提供了一种高效的记忆管理方式。
技术框架：MemLife的整体架构包括两个主要模块：记忆写入器和代理读取器。记忆写入器负责将视频片段转化为文本表示，而代理读取器则基于时间索引进行检索。
关键创新：MemLife的核心创新在于其无训练的检索机制和时间索引的设计，使得在不需要视频访问的情况下，依然能够有效检索信息。
关键设计：MemOpt作为强化学习框架，优化记忆写入器的输出，确保生成的记忆既真实又信息丰富，且易于检索。
🖼️ 关键图片
📊 实验亮点
在实验中，MemLife在四个长时间基准测试中相较于最强的无训练基线提高了4.6%至12.0%。此外，MemOpt在不同视频和问题分布下，持续提升MemLife的性能，提升幅度为2.7%至5.0%。
🎯 应用场景
该研究的潜在应用领域包括个性化AI助手、智能监控系统和人机交互等。通过高效管理和检索长时间的视频记忆，能够显著提升用户体验和系统智能化水平，未来可能在教育、医疗和安全等多个领域产生深远影响。
📄 摘要（原文）
Long-term egocentric video enables personalized AI assistants to reason about daily life. However, as video histories grow to hundreds of hours spanning months or years, reprocessing raw clips for every query becomes computationally prohibitive. Memory systems offer a scalable alternative by compacting videos into text representations, but often fail on practical benchmarks: either the memory does not preserve key evidence, or the retriever fails to locate relevant entries due to retrieval competition in growing search spaces. To address these challenges, we introduce MemLife, a multimodal memory system that constructs entity-grounded, first-person text episodes and retrieves them via a time-indexed agentic reader. Without training or query-time video access, MemLife improves over the strongest training-free baseline by 4.6--12.0% across four long-horizon benchmarks. To further improve memory quality, we propose MemOpt, a reinforcement learning framework that optimizes the memory writer to produce faithful, informative, and retrievable memories. MemOpt consistently improves MemLife by 2.7--5.0% across different video and question distributions, with gains that generalize across writer and reader backbones and memory systems.