VideoTapestry: Query-Adaptive Memory Refinement for Multi-Agent Long-Video Understanding

📄 arXiv: 2610.06672v1 📥 PDF

作者: Yucheng Liu, Yufei Yin, Mingxiao Feng, Jiajun Deng, Wengang Zhou, Houqiang Li

分类: cs.CV, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出VideoTapestry以解决长视频理解中的记忆适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 查询驱动 多代理框架 层次内存 信息检索 多模态观察 精炼技术

📋 核心要点

  1. 长视频理解面临的主要挑战是信息分散，现有方法在查询驱动和内存构建上存在局限性。
  2. 本文提出的VideoTapestry框架通过查询驱动的粗到细精炼，适应预构建的层次视频内存，提升信息检索的准确性。
  3. 实验结果表明，VideoTapestry在多个基准测试上相较于直接推理方法，准确性提升显著，达到最先进水平。

📝 摘要（中文）

长视频理解对内存的需求很高，因为回答问题通常需要检索分布在较长时间跨度的信息。现有方法主要分为两类：查询驱动的探索和查询无关的内存构建。本文提出了VideoTapestry，一个无训练的多代理框架，通过粗到细的查询驱动精炼，适应预构建的层次视频内存。该内存将视频内容组织为三个层次，分别捕捉全局叙事上下文、事件级时间结构和细粒度关系证据。通过为每个层次分配专门的代理，VideoTapestry在保持全局上下文的同时，针对查询相关的分支保留细粒度证据，最终实现了显著的准确性提升。

🔬 方法详解

问题定义：长视频理解需要在较长时间跨度内检索信息，现有方法在查询驱动和内存构建上存在局限，导致信息遗漏或定位错误。

核心思路：VideoTapestry通过查询驱动的粗到细精炼，适应预构建的层次视频内存，旨在提高信息检索的准确性和效率。

技术框架：该框架将视频内容组织为三个层次：全局叙事上下文、事件级时间结构和细粒度关系证据。每个层次分配一个专门的代理，负责在特定上下文中进行检索和精炼。

关键创新：VideoTapestry的创新在于其无训练的多代理框架，通过层次化的内存结构和查询驱动的精炼方式，显著提升了长视频理解的准确性。

关键设计：在设计中，采用了层次化的内存结构，代理的任务分配和多模态观察的引导策略是关键技术细节，确保了信息的有效整合与利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，VideoTapestry相较于直接GPT-5.5推理，分别在LVBench、LongVideoBench、Video-MME和EgoSchema上实现了17.2%、14.9%、9.8%和7.0%的准确性提升，展现了其在长视频理解中的领先地位。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能助手等，能够在复杂场景中实现更高效的信息检索与理解。未来，VideoTapestry有望推动长视频分析技术的发展，提升人机交互的智能化水平。

📄 摘要（原文）

Long-video understanding places substantial demands on memory, as answering questions often requires retrieving information distributed across extended temporal spans. Existing approaches broadly follow two paradigms: query-driven exploration, which is sensitive to localization errors, and query-independent memory construction, which may omit question-specific details. We introduce VideoTapestry, a training-free multi-agent framework that adapts a preconstructed hierarchical video memory through coarse-to-fine, query-driven refinement. The preconstructed memory organizes video content into three levels, capturing global narrative context, event-level temporal structure, and fine-grained relational evidence, respectively. To support coarse-to-fine localization and observation, we assign a specialized agent to each level, keeping retrieval and refinement within a scale-specific context. Guided by the query, these agents revisit relevant video regions and enrich layer-wise memories with targeted multimodal observations. Their refinements are assembled according to the original hierarchy into a composite query-adaptive memory, preserving global context in a compact form while retaining fine-grained evidence along query-relevant branches for final reasoning. Compared with direct GPT-5.5 inference, VideoTapestry achieves absolute accuracy gains of 17.2%, 14.9%, 9.8%, and 7.0% on LVBench, LongVideoBench (Long), Video-MME (Long), and EgoSchema, respectively, achieving the state-of-the-art results among all competitors.