Scaling Video Understanding via Compact Latent Multi-Agent Collaboration

📄 arXiv: 2605.00444v1 📥 PDF

作者: Kerui Chen, Jinglu Wang, Jianrong Zhang, Ming Li, Yan Lu, Hehe Fan

分类: cs.CV

发布日期: 2026-05-01

备注: 12 pages

💡 一句话要点

提出MACF：通过紧凑潜在多智能体协作实现可扩展的视频理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多智能体协作 潜在空间通信 多模态学习 课程学习 视频问答 视频摘要

📋 核心要点

  1. 现有方法在处理长视频理解任务时，受限于感知上下文预算，导致信息损失和高计算成本。
  2. MACF通过解耦智能体感知预算和全局视频复杂度，利用潜在空间通信实现高效协作。
  3. 实验结果表明，MACF在多个视频理解基准测试中，显著优于现有MLLM和多智能体系统。

📝 摘要（中文）

多模态大型语言模型(MLLM)在视觉语言理解方面取得了进展，但由于感知上下文预算的限制，在长视频任务中面临固有的局限性。现有的基于智能体的方法通过基于规则的预处理来缓解这个问题，但通常会遭受信息丢失、高成本以及对文本中间表示的依赖。我们提出了MACF，一个端到端的多智能体协作框架，它将每个智能体的感知预算与全局视频复杂度解耦，从而在保持视觉保真度的同时实现可扩展的视频理解。MACF将视频分割成多个片段，供局部预算的智能体处理，并通过智能体原生的潜在通信协议实现整体推理。每个智能体将部分观察编码为共享嵌入空间中紧凑的、任务充分的token，从而允许中央协调器进行高效且信息保持的协作。我们引入了一种课程学习策略，逐步加强语义对齐、证据总结和跨智能体协调。在各种视频理解基准上的大量实验表明，在相同的预算约束下，MACF始终优于最先进的MLLM和多智能体系统，证明了我们的潜在协作对于可扩展视频理解的有效性。

🔬 方法详解

问题定义：现有方法在处理长视频理解任务时，由于多模态大语言模型（MLLM）的感知上下文预算有限，无法有效处理长视频。基于规则的预处理方法虽然可以缓解这个问题，但会造成信息丢失，成本高昂，并且依赖于文本中间表示。

核心思路：MACF的核心思路是将视频分割成多个片段，每个片段由一个智能体处理，从而将每个智能体的感知预算与全局视频复杂度解耦。智能体之间通过共享的潜在空间进行通信，避免了信息损失和对文本中间表示的依赖。

技术框架：MACF包含三个主要模块：局部智能体、中央协调器和潜在通信协议。局部智能体负责处理视频片段，并将观察编码为紧凑的token。中央协调器负责协调各个智能体，并进行全局推理。潜在通信协议定义了智能体之间如何共享信息。

关键创新：MACF的关键创新在于其潜在通信协议，它允许智能体在不暴露原始视觉信息的情况下进行协作。这种方法既能保证信息传递，又能降低计算成本。此外，课程学习策略逐步加强语义对齐、证据总结和跨智能体协调，进一步提升了性能。

关键设计：MACF使用共享嵌入空间来表示智能体的观察。每个智能体将视频片段编码为该空间中的一个token。中央协调器使用注意力机制来聚合来自不同智能体的token。课程学习策略包括三个阶段：首先，训练智能体进行语义对齐；然后，训练智能体进行证据总结；最后，训练智能体进行跨智能体协调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MACF在多个视频理解基准测试中取得了显著的性能提升。在相同的预算约束下，MACF始终优于最先进的MLLM和多智能体系统。具体而言，在XXX数据集上，MACF的性能提升了X%，证明了其潜在协作对于可扩展视频理解的有效性。具体数据集和提升幅度未知，请根据论文补充。

🎯 应用场景

MACF具有广泛的应用前景，例如视频监控、自动驾驶、视频摘要、视频问答等。通过将视频分解为多个片段并利用智能体进行协作，MACF可以有效地处理长视频，并提取关键信息。该方法可以应用于需要理解长视频内容的各种场景，提高效率和准确性。

📄 摘要（原文）

Multi-modal large language models (MLLMs) advance vision language understanding but face inherent limitations in long-video tasks due to bounded perception context budgets. Existing agentic methods mitigate this via rule-based preprocessing, yet often suffer from information loss, high cost, and reliance on textual intermediates. We propose MACF, an end-to-end Multi-Agent Collaboration Framework that decouples per-agent perception budgets from global video complexity, enabling scalable video understanding while preserving visual fidelity. MACF partitions videos into segments for locally budgeted agents and enables holistic reasoning via an agent-native latent communication protocol. Each agent encodes partial observations into compact, task-sufficient tokens in a shared embedding space, allowing efficient and information-preserving collaboration by a central coordinator. We introduce a curriculum training strategy that progressively enforces semantic alignment, evidence summarization, and cross-agent coordination. Extensive experiments on diverse video understanding benchmarks show that MACF consistently outperforms state-of-the-art MLLMs and multi-agent systems under identical budget constraints, demonstrating the effectiveness of our latent collaboration for scalable video understanding.