IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory

📄 arXiv: 2604.20136v1 📥 PDF

作者: Weitong Kong, Di Wen, Kunyu Peng, David Schneider, Zeyun Zhong, Alexander Jaus, Zdravko Marinov, Jiale Wei, Ruiping Liu, Junwei Zheng, Yufan Chen, Lei Qi, Rainer Stiefelhagen

分类: cs.CV, cs.AI

发布日期: 2026-04-22

备注: 7 pages, 2 figures, code are available at https://github.com/MKong17/IMPACT_CYCLE

🔗 代码/项目: GITHUB

💡 一句话要点

提出IMPACT-CYCLE，通过基于合约的多智能体系统实现长视频语义记忆的声明级监督校正。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多智能体系统 语义记忆 监督校正 声明级推理

📋 核心要点

  1. 现有长视频理解方法缺乏中间状态的监督接口，错误校正成本高昂，人工需要从原始视频重建逻辑。
  2. IMPACT-CYCLE将长视频理解转化为共享语义记忆的迭代维护，通过多智能体系统进行声明级校正。
  3. 实验表明，IMPACT-CYCLE显著提升了下游推理能力，并大幅降低了人工仲裁成本，减轻了标注负担。

📝 摘要（中文）

长视频理解中的错误校正代价极高，因为现有的多模态流水线产生不透明的端到端输出，缺乏可供检查的中间状态，迫使标注者重新审视原始视频并从头重建时序逻辑。核心瓶颈不仅在于生成质量，更在于缺乏一种监督界面，使人工干预与每个错误的范围成比例。我们提出了IMPACT-CYCLE，一个监督多智能体系统，它将长视频理解重新定义为共享语义记忆的迭代声明级维护，该记忆是一种结构化的、版本化的状态，编码了类型化的声明、声明依赖图和来源日志。在明确的权限合约下运行的角色专用智能体将验证分解为局部对象关系正确性、跨时序一致性和全局语义连贯性，并将校正限制在结构上相关的声明中。当自动证据不足时，系统升级到人工仲裁作为具有最终否决权的监督机构；依赖闭包重新验证确保校正成本与错误范围保持成比例。在VidOR上的实验表明，下游推理能力显著提高（VQA：0.71到0.79），人工仲裁成本降低了4.8倍，工作量明显低于手动标注。代码将在https://github.com/MKong17/IMPACT_CYCLE发布。

🔬 方法详解

问题定义：长视频理解任务中，现有端到端模型输出不透明，缺乏中间状态，导致错误难以定位和校正。人工需要从头审视原始视频，重建时序逻辑，校正成本与错误范围不成比例。现有方法的痛点在于缺乏有效的监督接口和可解释的中间表示。

核心思路：IMPACT-CYCLE的核心思路是将长视频理解分解为多个可解释的声明，并构建这些声明之间的依赖关系图。通过多智能体系统，每个智能体负责验证特定类型的声明，并根据依赖关系进行校正。当自动验证不足时，引入人工仲裁，但校正范围被限制在依赖的声明中，从而降低了人工成本。

技术框架：IMPACT-CYCLE包含以下主要模块：1) 语义记忆：存储结构化的、版本化的声明，包括类型化的声明、声明依赖图和来源日志。2) 多智能体系统：由角色专用智能体组成，每个智能体负责验证特定类型的声明，例如对象关系正确性、跨时序一致性和全局语义连贯性。智能体之间通过明确的权限合约进行协调。3) 监督机制：当自动证据不足时，系统升级到人工仲裁，人工仲裁具有最终否决权。4) 依赖闭包重新验证：确保校正成本与错误范围保持成比例。

关键创新：IMPACT-CYCLE最重要的技术创新点在于将长视频理解转化为声明级的监督校正问题，并引入基于合约的多智能体系统。与现有方法相比，IMPACT-CYCLE提供了可解释的中间表示，并允许人工干预与错误范围成比例，从而显著降低了校正成本。

关键设计：论文中提到角色专用智能体在明确的权限合约下运行，但没有详细描述合约的具体内容。依赖闭包重新验证的具体实现方式也未详细说明。这些是未来研究可以深入探索的方向。损失函数和网络结构等细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在VidOR数据集上的实验表明，IMPACT-CYCLE显著提高了下游推理能力（VQA：0.71提升到0.79），并且人工仲裁成本降低了4.8倍，工作量明显低于手动标注，验证了该方法的有效性。

🎯 应用场景

IMPACT-CYCLE可应用于各种需要长视频理解和监督校正的场景，例如智能监控、自动驾驶、视频内容审核和教育视频分析。该系统能够提高视频理解的准确性和效率，并降低人工标注成本，具有广泛的应用前景。

📄 摘要（原文）

Correcting errors in long-video understanding is disproportionately costly: existing multimodal pipelines produce opaque, end-to-end outputs that expose no intermediate state for inspection, forcing annotators to revisit raw video and reconstruct temporal logic from scratch. The core bottleneck is not generation quality alone, but the absence of a supervisory interface through which human effort can be proportional to the scope of each error. We present IMPACT-CYCLE, a supervisory multi-agent system that reformulates long-video understanding as iterative claim-level maintenance of a shared semantic memory -- a structured, versioned state encoding typed claims, a claim dependency graph, and a provenance log. Role-specialized agents operating under explicit authority contracts decompose verification into local object-relation correctness, cross-temporal consistency, and global semantic coherence, with corrections confined to structurally dependent claims. When automated evidence is insufficient, the system escalates to human arbitration as the supervisory authority with final override rights; dependency-closure re-verification then ensures correction cost remains proportional to error scope. Experiments on VidOR show substantially improved downstream reasoning (VQA: 0.71 to 0.79) and a 4.8x reduction in human arbitration cost, with workload significantly lower than manual annotation. Code will be released at https://github.com/MKong17/IMPACT_CYCLE.