VideoLoop: Looped Working Memory Against Semantic Thrashing in Long-Form Video Agents

📄 arXiv: 2609.38119v1 📥 PDF

作者: Jinfa Huang, Jianming Xu, Jingyang Lin, Zhengyuan Yang, Jiebo Luo

分类: cs.CV

发布日期: 2026-09-29

备注: Code: https://github.com/philipxjm/videoloop

💡 一句话要点

提出VideoLoop以解决长视频代理中的语义混乱问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态代理 工作记忆 语义混乱 推理机制 视频分析 深度学习

📋 核心要点

  1. 现有的长视频理解方法在处理多轮推理时，容易出现语义混乱，导致对关键证据的关注度降低。
  2. 论文提出VideoLoop，通过外循环和内循环的耦合设计，有效地管理工作记忆，避免了信息的累积噪声。
  3. 实验结果显示，VideoLoop在多个基准测试中显著提升了性能，尤其是在VideoMME（长）上，提升幅度达到4.2个百分点。

📝 摘要（中文）

长视频理解需要多模态代理在多个推理步骤中迭代收集证据。然而，大多数现有的代理方法面临语义混乱的问题：随着仅追加的工作记忆增长，关键证据的关注度下降，代理失去对已发现内容的访问。本文首先提供了一个结构性论证，表明仅追加的记忆可以纳入新观察到的目标证据，但无法去除累积的噪声或防止有序上下文的增长。基于此分析，提出了VideoLoop，一个具有两个耦合循环的多模态代理。外循环对视频进行推理，内循环在每一步后从无限制的过去观察和中间分析的文件系统中检索信息，并重写有限的工作记忆。大量实验表明，VideoLoop在VideoMME（长）上以即插即用的方式改善了四个流行的LVLM骨干网络，平均提升4.2个百分点。

🔬 方法详解

问题定义：本文旨在解决长视频理解中的语义混乱问题，现有方法在工作记忆仅追加的情况下，无法有效去除噪声和管理上下文信息。

核心思路：提出VideoLoop，通过引入两个耦合循环，外循环进行视频推理，内循环则从过去的观察中检索信息并重写工作记忆，从而保持对关键证据的关注。

技术框架：VideoLoop的整体架构包括外循环和内循环两个主要模块。外循环负责对视频内容进行推理，而内循环则在每一步后更新工作记忆，确保信息的有效性和相关性。

关键创新：VideoLoop的核心创新在于其双循环结构，能够动态管理工作记忆，避免了传统方法中信息累积导致的语义混乱。这一设计使得代理能够更好地利用历史信息。

关键设计：在参数设置上，VideoLoop采用了动态重写机制，确保工作记忆的有效性。此外，损失函数设计上也考虑了信息的相关性，以优化模型的推理能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，VideoLoop在VideoMME（长）上达到了88.3%的准确率，在VideoMMMU上为88.8%，在LongVideoBench（长）上为80.9%。与仅追加的代理相比，VideoLoop在最难的四分之一问题上，盲评者的正确率从60.9%提升至81.1%。

🎯 应用场景

该研究的潜在应用领域包括视频内容分析、智能助手和自动化视频编辑等。通过提高长视频理解的准确性，VideoLoop可以为多模态交互系统提供更为可靠的支持，推动相关技术的发展和应用。

📄 摘要（原文）

Long-form video understanding requires multimodal agents to iteratively gather evidence over many reasoning steps. However, most existing agentic methods suffer from semantic thrashing: as append-only working memory grows, attention to key evidence collapses, and the agent loses access to what it has already found. First, we provide a structural argument showing that append-only memory can incorporate newly observed target evidence, but cannot remove accumulated noise or prevent ordered context growth without a rewrite operator. Second, motivated by this analysis, we propose VideoLoop, a multimodal agent with two coupled loops. The outer loop reasons over the video and the inner loop, after each step, retrieves artifacts from an unbounded filesystem of past observations and intermediate analysis, and rewrites a bounded working memory. Extensive experiments demonstrate the effectiveness of VideoLoop, which improves four popular LVLM backbones in a plug-and-play manner, with an average gain of 4.2% points over baseline on VideoMME (long). Further analysis of working memory suggests that VideoLoop mitigates semantic thrashing: on the hardest quarter of VideoMME (long) questions, a blind judge that reads only the agent's context answers 81.1% correctly, versus 60.9% for the append-only agent. With Gemini 3.1 Pro, VideoLoop reaches 88.3% on VideoMME (long), 88.8% on VideoMMMU, and 80.9% on LongVideoBench (long).