VideoLucy: Deep Memory Backtracking for Long Video Understanding
作者: Jialong Zuo, Yongtai Deng, Lingdong Kong, Jingkang Yang, Rui Jin, Yiwei Zhang, Nong Sang, Liang Pan, Ziwei Liu, Changxin Gao
分类: cs.CV
发布日期: 2025-10-14
备注: NeurIPS-2025 Accepted Paper
💡 一句话要点
VideoLucy：提出深度记忆回溯框架，用于长视频理解，显著提升性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 深度学习 记忆网络 大型语言模型 代理 分层记忆 回溯机制
📋 核心要点
- 现有基于LLM的视频理解系统难以捕捉连续帧的时间上下文，且稀疏采样易丢失关键信息。
- VideoLucy提出分层记忆结构和基于代理的迭代回溯机制，模拟人类由粗到精的回忆过程。
- 实验表明，VideoLucy在多个长视频理解基准上显著优于现有方法，甚至超越GPT-4o。
📝 摘要（中文）
最近的研究表明，利用大型语言模型（LLMs）进行关键信息检索和整合的基于代理的系统，已成为长视频理解的一种有前景的方法。然而，这些系统面临两个主要挑战。首先，它们通常对单个帧进行建模和推理，难以捕捉连续帧的时间上下文。其次，为了降低密集帧级字幕的成本，它们采用稀疏帧采样，这有丢失关键信息的风险。为了克服这些限制，我们提出了VideoLucy，一个用于长视频理解的深度记忆回溯框架。受到人类由粗到精的回忆过程的启发，VideoLucy采用具有渐进粒度的分层记忆结构。该结构明确定义了不同层次深度上记忆的细节级别和时间范围。通过基于代理的迭代回溯机制，VideoLucy系统地挖掘视频范围内的、与问题相关的深度记忆，直到收集到足够的信息来提供一个有信心的答案。这种设计能够有效地理解连续帧的时间信息，同时保留关键细节。此外，我们引入了EgoMem，一个新的长视频理解基准。EgoMem旨在全面评估模型理解随时间展开的复杂事件以及捕获极长视频中的细粒度细节的能力。大量的实验证明了VideoLucy的优越性。基于开源模型，VideoLucy在多个长视频理解基准上显著优于最先进的方法，甚至实现了超越最新的专有模型（如GPT-4o）的性能。我们的代码和数据集将在https://videolucy.github.io上公开。
🔬 方法详解
问题定义：现有基于代理的视频理解系统在处理长视频时，面临两个主要问题：一是难以捕捉连续帧之间的时间依赖关系，因为它们通常独立处理每一帧；二是为降低计算成本而采用的稀疏帧采样策略，可能导致关键信息的丢失。这些问题限制了模型理解视频中复杂事件和细粒度细节的能力。
核心思路：VideoLucy的核心思路是模拟人类的回忆过程，从粗略到精细地逐步挖掘视频中的相关信息。它通过构建一个分层记忆结构，在不同层次上存储不同粒度和时间范围的视频信息。然后，利用一个基于代理的迭代回溯机制，根据问题逐步检索和整合这些记忆，直到获得足够的信息来回答问题。
技术框架：VideoLucy的整体框架包含以下几个主要模块：1) 分层记忆结构：视频信息被存储在一个多层级的记忆结构中，每一层代表不同的时间粒度和细节程度。顶层可能包含整个视频的粗略摘要，而底层则包含更细粒度的帧级别信息。2) 代理：一个基于LLM的代理负责根据问题在分层记忆结构中进行检索和推理。3) 迭代回溯机制：代理从顶层记忆开始，逐步向下层记忆回溯，直到找到足够的信息来回答问题。如果代理对当前的信息不确定，它会回溯到更细粒度的记忆层，以获取更多的细节。4) 答案生成：当代理收集到足够的信息时，它会生成最终的答案。
关键创新：VideoLucy的关键创新在于其深度记忆回溯机制和分层记忆结构。与传统的单帧处理方法不同，VideoLucy能够有效地利用视频中的时间上下文信息。此外，分层记忆结构允许模型在不同的粒度级别上进行推理，从而更好地平衡计算成本和信息完整性。
关键设计：VideoLucy的关键设计包括：1) 分层记忆结构的层数和粒度：需要根据具体的视频长度和任务复杂度进行调整。2) 代理的LLM选择：选择合适的LLM对于代理的推理能力至关重要。3) 回溯机制的停止条件：需要设计一个合适的停止条件，以避免过度回溯和计算浪费。4) 记忆的编码方式：如何有效地将视频信息编码到记忆中，以便代理能够快速检索和理解。
🖼️ 关键图片
📊 实验亮点
VideoLucy在多个长视频理解基准测试中取得了显著的性能提升。例如，在EgoMem基准测试中，VideoLucy超越了现有的最先进方法，甚至超过了GPT-4o等专有模型。这些实验结果表明，VideoLucy的深度记忆回溯框架能够有效地利用视频中的时间上下文信息，并提高长视频理解的准确性。
🎯 应用场景
VideoLucy在长视频理解领域具有广泛的应用前景，例如智能监控、视频搜索、自动驾驶、教育视频分析等。它可以帮助机器更好地理解视频内容，从而实现更智能化的视频分析和应用。该研究的突破将推动视频理解技术的发展，并为相关领域带来新的可能性。
📄 摘要（原文）
Recent studies have shown that agent-based systems leveraging large language models (LLMs) for key information retrieval and integration have emerged as a promising approach for long video understanding. However, these systems face two major challenges. First, they typically perform modeling and reasoning on individual frames, struggling to capture the temporal context of consecutive frames. Second, to reduce the cost of dense frame-level captioning, they adopt sparse frame sampling, which risks discarding crucial information. To overcome these limitations, we propose VideoLucy, a deep memory backtracking framework for long video understanding. Inspired by the human recollection process from coarse to fine, VideoLucy employs a hierarchical memory structure with progressive granularity. This structure explicitly defines the detail level and temporal scope of memory at different hierarchical depths. Through an agent-based iterative backtracking mechanism, VideoLucy systematically mines video-wide, question-relevant deep memories until sufficient information is gathered to provide a confident answer. This design enables effective temporal understanding of consecutive frames while preserving critical details. In addition, we introduce EgoMem, a new benchmark for long video understanding. EgoMem is designed to comprehensively evaluate a model's ability to understand complex events that unfold over time and capture fine-grained details in extremely long videos. Extensive experiments demonstrate the superiority of VideoLucy. Built on open-source models, VideoLucy significantly outperforms state-of-the-art methods on multiple long video understanding benchmarks, achieving performance even surpassing the latest proprietary models such as GPT-4o. Our code and dataset will be made publicly at https://videolucy.github.io