Video-MemComp: Taylor-Guided Sensitivity-Aware Memory Management for Streaming Video Understanding

📄 arXiv: 2610.32784v1 📥 PDF

作者: Yonghui Niu, Yuhao Ji, Chang Nie, Jiao Zhang, Yilong Li, Junlan Feng, Ran He, Caifeng Shan, Chaoyou Fu

分类: cs.CV

发布日期: 2026-10-23

备注: Accepted by ACM MM 2026. Project Page: https://hhnk666.github.io/Video-MemComp.github.io

💡 一句话要点

提出Video-MemComp以解决长视频理解中的内存瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 内存管理 多模态学习 压缩方法 敏感性分析

📋 核心要点

  1. 现有的视频理解方法在处理长视频时面临严重的内存瓶颈，导致性能下降。
  2. 提出Video-MemComp框架，通过一阶泰勒展开分解压缩误差，并动态管理KV缓存。
  3. 在多个基准测试中，Video-MemComp的性能超越了现有方法，显著提高了模型准确率。

📝 摘要（中文）

随着视频数据的快速增长，迫切需要高效的视频理解系统来处理长时间的视觉输入，这对多模态大语言模型（MLLMs）造成了显著的内存瓶颈。此外，现有的压缩方法往往忽视了近似误差的爆炸性积累。为了解决这一问题，我们提出了Video-MemComp，这是一种无训练且敏感性意识的上下文管理框架，旨在应对内存受限的流媒体视频理解。我们的方法通过一阶泰勒展开理论上将压缩误差分解为正交的局部近似误差和层级结构敏感性。通过在预RoPE安全区内进行token聚合，并采用保留注意力的logit偏置，我们减轻了RoPE旋转带来的几何失真。为了管理层级结构敏感性，我们根据离线梯度先验和在线上下文熵动态分配KV缓存预算，优先考虑高敏感性层。Video-MemComp在MLVU、VideoMME和EgoSchema等基准测试中超越或与全缓存及最先进的压缩方法相当，显著提高了Qwen2.5-VL-3B的整体准确率，从62.3%提升至64.1%，同时将KV缓存减少到每层相当于6000个token，节省了90%以上的KV内存。

🔬 方法详解

问题定义：论文旨在解决流媒体视频理解中的内存瓶颈问题，现有方法在处理长视频时容易出现近似误差的积累，影响性能。

核心思路：通过引入敏感性意识的上下文管理框架Video-MemComp，利用一阶泰勒展开将压缩误差分解为局部近似误差和层级结构敏感性，从而优化内存使用。

技术框架：该框架包括两个主要模块：局部近似误差管理和层级结构敏感性管理。前者通过token聚合和logit偏置减小几何失真，后者则根据敏感性动态分配KV缓存。

关键创新：最重要的创新在于将压缩误差的分析与内存管理结合，通过动态调整KV缓存预算，优先处理高敏感性层，这在现有方法中尚未实现。

关键设计：在设计中，采用了预RoPE安全区进行token聚合，并引入了基于离线梯度和在线上下文熵的动态KV缓存分配策略，确保了高效的内存使用和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Video-MemComp在多个基准测试中表现优异，尤其是在Qwen2.5-VL-3B模型中，准确率从62.3%提升至64.1%，同时KV缓存需求减少至6000个token每层，节省了超过90%的内存。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、视频分析等场景，能够有效提升长视频理解的效率和准确性。未来，Video-MemComp可能在实时视频处理和多模态学习中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

The rapid growth of video data has created an urgent need for efficient video understanding systems that can handle long and continuous visual inputs, posing significant challenges for Multimodal Large Language Models (MLLMs) due to severe memory bottlenecks. Moreover, existing compression methods often overlook the explosive accumulation of approximation errors. To address this issue, we propose Video-MemComp, a training-free and sensitivity-aware context management framework for memory-constrained streaming video understanding. Our method theoretically decomposes compression error into orthogonal local approximation error and layer-wise structural sensitivity via a first-order Taylor expansion. To minimize local approximation error, we perform token aggregation in a pre-RoPE safe zone with an attention-conserving logit bias, mitigating geometric distortions caused by RoPE rotations. To manage layer-wise structural sensitivity, we dynamically allocate the KV cache budget based on offline gradient priors and online context entropy, prioritizing high-sensitivity layers. Video-MemComp outperforms or achieves performance comparable to full-cache and state-of-the-art compression methods on benchmarks including MLVU, VideoMME, and EgoSchema. Notably, it improves the overall accuracy of Qwen2.5-VL-3B from 62.3% to 64.1% while reducing the KV cache to an equivalent of 6,000 tokens per layer, saving over 90% of KV memory.