Event-Causal RAG: A Retrieval-Augmented Generation Framework for Long Video Reasoning in Complex Scenarios

📄 arXiv: 2605.06185v1 📥 PDF

作者: Peizheng Yan, Yu Zhao, Liang Xie, Juntong Qi, Mingming Wang, Erwei Yin

分类: cs.AI, cs.CV

发布日期: 2026-05-07

💡 一句话要点

提出Event-Causal RAG框架，通过事件因果图与双重存储机制实现超长视频的因果推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 检索增强生成 因果推理 知识图谱 多模态学习 视频分析

📋 核心要点

  1. 现有方法受限于自注意力机制的计算复杂度，且传统RAG方法在处理长视频时存在记忆碎片化及因果建模能力不足的问题。
  2. 提出Event-Causal RAG框架，将视频解析为结构化的SES图，构建全局事件知识图谱，并引入双向检索策略以捕捉长时序因果依赖。
  3. 实验证明该方法在长视频理解基准上优于现有基线，特别是在跨长时空因果推理任务中表现突出，同时显著提升了内存与推理效率。

📝 摘要（中文）

近期大型视觉语言模型在短中视频理解上表现优异，但在处理超长或无限视频时，难以维持长时记忆并推断跨时间事件的因果依赖。现有端到端方法受限于自注意力机制的O(n²)复杂度，而现有的检索增强生成（RAG）方法则面临片段级记忆碎片化、时序因果建模薄弱以及存储与推理成本高昂的问题。本文提出了Event-Causal RAG，一种用于无限长视频推理的轻量级检索增强框架。该方法不再索引固定长度的片段，而是将流式视频分割为语义连贯的事件，并将其表示为结构化的“状态-事件-状态”（SES）图。这些图被合并为全局事件知识图谱，存储在支持语义匹配与因果拓扑检索的双重存储器中。在此基础上，设计了双向检索策略，高效识别相关事件因果链，并结合视频证据辅助基础模型进行推理。实验表明，该方法在多事件整合与跨长时空因果推理任务上显著优于现有基线，且具备更高的内存效率。

🔬 方法详解

问题定义：论文旨在解决超长视频理解中长时记忆保持与跨时间因果推理的难题。现有端到端模型受限于计算复杂度，而传统RAG方法因缺乏对视频语义结构和因果关系的建模，导致检索到的片段碎片化，无法支撑复杂的逻辑推理。

核心思路：引入“事件”作为视频处理的基本单元，而非传统的固定时长片段。通过构建结构化的SES（状态-事件-状态）图，将视频转化为可推理的知识图谱，从而实现从单纯的视觉特征匹配向语义因果逻辑检索的范式转变。

技术框架：系统包含三个核心阶段：首先是视频流的语义事件分割与SES图构建；其次是将这些图整合进全局事件知识图谱，并存入支持语义与拓扑检索的双重存储器；最后通过双向检索策略提取因果链，辅助视觉语言模型生成答案。

关键创新：核心创新在于将视频内容转化为结构化的因果图表示，并利用双向检索机制（语义匹配+因果拓扑）替代传统的向量相似度检索，从而在保持轻量化的同时，实现了对长时序因果关系的精准捕捉。

关键设计：采用SES图结构来显式建模事件前后的状态变化；双重存储器设计兼顾了语义检索的灵活性与因果拓扑检索的逻辑严密性；双向检索策略确保了在海量视频数据中能够快速定位到与问题相关的因果链条。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个长视频理解基准测试中，Event-Causal RAG在处理跨长时空因果推理问题时，性能显著优于基于片段检索的基线模型。该方法在大幅降低内存占用和计算开销的同时，展现了极强的流式处理能力，证明了其在处理无限长视频任务中的鲁棒性与高效性。

🎯 应用场景

该技术适用于安防监控视频分析、长电影/纪录片内容理解、自动驾驶长时行为预测以及复杂工业流程监控等领域。其高效的因果推理能力能显著提升系统在处理长时间跨度、多事件关联任务时的准确性与响应速度。

📄 摘要（原文）

Recent large vision-language models have achieved strong performance on short- and medium-length video understanding, yet they remain inadequate for ultra-long or even infinite video reasoning, where models must preserve coherent memory over extended durations and infer causal dependencies across temporally distant events. Existing end-to-end video understanding methods are fundamentally limited by the $O(n^2)$ complexity of self-attention, while recent retrieval-augmented generation (RAG) approaches still suffer from fragmented clip-level memory, weak modeling of temporal and causal structure, and high storage and online inference costs. We present Event-Causal RAG, a lightweight retrieval-augmented framework for infinite long-video reasoning. Instead of indexing fixed-length clips, our method segments streaming videos into semantically coherent events and represents each event as a structured State-Event-State (SES) graph, capturing the event together with its surrounding state transitions. These graphs are merged into a global Event Knowledge Graph and stored in a dual-store memory that supports both semantic matching and causal-topological retrieval. On top of this memory, we design a bidirectional retrieval strategy to efficiently identify the most relevant event causal chains and provide them, together with the associated video evidence, to a backbone video foundation model for answer generation. Experiments on long-video understanding benchmarks demonstrate that Event-Causal RAG consistently outperforms strong clip-based retrieval baselines and long-context video models, particularly on questions requiring multi-event integration and causal inference across long temporal gaps, while also achieving improved memory efficiency and robust streaming performance.