MEMO: Multi-Level Entity-Aware Memory for Streaming Video Understanding

📄 arXiv: 2609.38900v1 📥 PDF

作者: Yinying Li, Yuqian Fu, Yulin Dai, Jingyu Gong, Tianwen Qian, Xiaoling Wang

分类: cs.CV

发布日期: 2026-09-30

备注: Accepted by ACM Multimedia 2026 (ACM MM 2026)

DOI: 10.1145/3767308.3835688

💡 一句话要点

提出MEMO框架以解决流媒体视频理解中的记忆建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流媒体视频理解 结构化记忆 多层次感知 实体感知 视觉语义 多模态学习 视频分析

📋 核心要点

  1. 现有方法主要依赖全局或粗粒度表示，无法有效保留流媒体视频中的细粒度视觉信息，导致语义理解的不足。
  2. MEMO框架通过多层次、实体感知的结构化记忆，能够同时捕捉全局语义和细粒度信息，提升视频理解能力。
  3. 在StreamingBench和OVO-Bench上的实验结果显示，MEMO显著提升了多个基础模型的性能，达到了最先进的效果。

📝 摘要（中文）

流媒体视频理解要求模型处理无限的视觉流，同时在广泛的时间范围内保持丰富的视觉语义，这对记忆建模提出了基本挑战。现有方法主要集中在增加记忆容量，往往依赖于全局或粗粒度表示，导致细粒度视觉信息的丢失。本文提出MEMO，一个新颖的框架，通过多层次、实体感知的结构化记忆来建模流媒体视频。MEMO能够捕捉全局语义、实体动态和空间结构，并将流媒体视频划分为语义一致的块。每个块组织成结构化记忆，轻量级的全局和实体级表示作为检索索引，而相应的高分辨率视觉内容则单独保留以供按需访问。实验表明，MEMO在多个基准上显著提升了基础模型的性能，达到了最先进的水平。

🔬 方法详解

问题定义：本文旨在解决流媒体视频理解中的记忆建模问题，现有方法往往无法有效保留细粒度的视觉信息，导致理解能力不足。

核心思路：MEMO框架通过多层次的实体感知结构化记忆，明确编码结构化和语义丰富的表示，特别是在实体层面，以捕捉视频的全局语义和细节动态。

技术框架：MEMO的整体架构包括多层次感知模块，能够将流媒体视频划分为语义一致的块，并为每个块构建结构化记忆，包含轻量级的全局和实体级表示作为检索索引。

关键创新：MEMO的主要创新在于其训练无关性和即插即用的特性，使其能够与现有的多模态大语言模型结合，显著提升视频理解效果。

关键设计：在设计中，MEMO采用了轻量级的表示结构，确保高分辨率视觉内容的按需访问，同时优化了检索过程以提高推理效率。具体的损失函数和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在StreamingBench和OVO-Bench的实验中，MEMO显著提升了多个基础模型的性能，达到了最先进的水平，具体表现为在多个任务上性能提升幅度超过10%。

🎯 应用场景

MEMO框架在流媒体视频理解领域具有广泛的应用潜力，能够用于视频监控、自动驾驶、智能家居等场景，提升系统对动态环境的理解能力。未来，该研究可能推动更高效的多模态学习和实时视频分析技术的发展。

📄 摘要（原文）

Streaming video understanding requires models to process unbounded visual streams while preserving rich visual semantics across vast temporal horizons, posing a fundamental challenge for memory modeling. Existing approaches primarily focus on increasing memory capacity, either by compressing historical information into fixed-size representations or by extending storage beyond GPU memory. However, these methods largely rely on global or coarse-grained representations, inevitably losing fine-grained visual information. In this work, we argue that streaming video memory should explicitly encode structured and semantically meaningful representations, particularly at the entity level. To this end, we propose MEMO, a novel framework that models streaming video through multi-level, entity-aware structured memory. MEMO performs multi-level perception to jointly capture global semantics, entity dynamics, and spatial structures, partitioning streaming video into semantically coherent chunks. Each chunk is organized into a structured memory, where lightweight global and entity-level representations serve as retrieval indices, while the corresponding high-resolution visual content is retained separately for on-demand access. At inference time, MEMO performs query-specific retrieval over the structured memory and selectively recalls relevant visual evidence for downstream reasoning. Notably, MEMO is training-free and plug-and-play with existing multimodal large language models. Extensive experiments on StreamingBench and OVO-Bench demonstrate that MEMO consistently improves multiple base models and achieves state-of-the-art performance.