EgoGraph: Temporal Knowledge Graph for Egocentric Video Understanding

📄 arXiv: 2602.23709v1 📥 PDF

作者: Shitong Sun, Ke Han, Yukai Huang, Weitong Cai, Jifei Song

分类: cs.CV

发布日期: 2026-02-27

备注: Under review

💡 一句话要点

提出EgoGraph，用于理解以自我为中心的超长时序视频，解决现有方法在长期依赖建模上的不足。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 以自我为中心视频 知识图谱 长期时序建模 视频问答 动态图 视频理解 实体关系

📋 核心要点

  1. 现有以自我为中心的视频理解方法难以建模长期时序依赖，限制了对超长视频的理解能力。
  2. EgoGraph通过构建动态知识图，显式编码实体间的长期依赖关系，实现更丰富的语义表示和时序推理。
  3. 在EgoLifeQA和EgoR1-bench上，EgoGraph在长期视频问答任务中取得了SOTA性能，验证了其有效性。

📝 摘要（中文）

本文提出EgoGraph，一个无需训练的动态知识图构建框架，用于显式编码以自我为中心视频流中的长期、跨实体依赖关系，以解决现有方法在超长视频理解中依赖片段化局部处理和有限时序建模的问题。EgoGraph采用一种新颖的以自我为中心的模式，统一提取和抽象核心实体（如人、物体、地点和事件），并结构化地推理它们的属性和交互，从而产生比传统基于片段的视频模型更丰富和连贯的语义表示。此外，本文还开发了一种时序关系建模策略，捕获实体间的时间依赖性，并在多天内积累稳定的长期记忆，从而实现复杂的时序推理。在EgoLifeQA和EgoR1-bench基准测试上的大量实验表明，EgoGraph在长期视频问答方面取得了最先进的性能，验证了其作为超长时序以自我为中心视频理解新范式的有效性。

🔬 方法详解

问题定义：现有以自我为中心的视频理解方法，特别是处理跨越多天的超长视频时，面临着严重的挑战。它们通常依赖于片段化的局部处理，并且时序建模能力有限，无法有效地捕捉和利用视频中实体之间的长期依赖关系，从而限制了对视频内容的深层理解和推理。

核心思路：EgoGraph的核心思路是通过构建动态知识图来显式地表示和推理视频中的实体及其关系。该方法旨在将视频中的人、物体、地点和事件等关键实体及其属性和交互以结构化的方式组织起来，从而形成一个更丰富和连贯的语义表示。通过在知识图中建模实体间的时间依赖性，EgoGraph能够积累长期记忆，并支持复杂的时序推理。

技术框架：EgoGraph框架主要包含以下几个关键模块：1) 实体提取与抽象：从视频帧中提取关键实体（人、物体、地点、事件等），并抽象出它们的属性。2) 知识图构建：基于提取的实体和属性，构建动态知识图，其中节点表示实体，边表示实体间的关系。3) 时序关系建模：设计一种时序关系建模策略，用于捕获实体间的时间依赖性，并在知识图中积累长期记忆。4) 推理与问答：利用构建的知识图进行推理，并回答与视频内容相关的问题。

关键创新：EgoGraph的关键创新在于其动态知识图构建框架和时序关系建模策略。与传统的基于片段的视频模型相比，EgoGraph能够显式地编码实体间的长期依赖关系，并积累长期记忆，从而实现更有效的时序推理。此外，EgoGraph采用了一种新颖的以自我为中心的模式，统一提取和抽象核心实体，从而产生更丰富和连贯的语义表示。

关键设计：EgoGraph采用了一种无需训练的框架，避免了对大量标注数据的依赖。其时序关系建模策略可能涉及到使用循环神经网络（RNN）或Transformer等模型来捕获实体间的时间依赖性。知识图的构建和更新可能涉及到使用图神经网络（GNN）等技术。具体的参数设置、损失函数和网络结构等技术细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EgoGraph在EgoLifeQA和EgoR1-bench基准测试上取得了最先进的性能，验证了其有效性。具体的性能数据和提升幅度需要在论文中查找（未知）。该结果表明，EgoGraph能够有效地建模长期时序依赖关系，并实现更准确的视频理解和推理。

🎯 应用场景

EgoGraph在以自我为中心的视频理解领域具有广泛的应用前景，例如智能助手、可穿戴设备、人机交互、监控系统和自动驾驶等。它可以帮助这些应用更好地理解用户的行为和环境，从而提供更智能、更个性化的服务。例如，在智能助手中，EgoGraph可以用于理解用户的日常活动，并根据用户的需求提供相应的帮助和建议。

📄 摘要（原文）

Ultra-long egocentric videos spanning multiple days present significant challenges for video understanding. Existing approaches still rely on fragmented local processing and limited temporal modeling, restricting their ability to reason over such extended sequences. To address these limitations, we introduce EgoGraph, a training-free and dynamic knowledge-graph construction framework that explicitly encodes long-term, cross-entity dependencies in egocentric video streams. EgoGraph employs a novel egocentric schema that unifies the extraction and abstraction of core entities, such as people, objects, locations, and events, and structurally reasons about their attributes and interactions, yielding a significantly richer and more coherent semantic representation than traditional clip-based video models. Crucially, we develop a temporal relational modeling strategy that captures temporal dependencies across entities and accumulates stable long-term memory over multiple days, enabling complex temporal reasoning. Extensive experiments on the EgoLifeQA and EgoR1-bench benchmarks demonstrate that EgoGraph achieves state-of-the-art performance on long-term video question answering, validating its effectiveness as a new paradigm for ultra-long egocentric video understanding.