EgoOmniWorld: Unifying Egocentric Understanding via Ego-Action-World Interactions
作者: Songruo Chen, Yuqian Fu, Yu Li, Mingkang Dong, Sifan Zhou, Bin Ren, Xu Zheng, Tianwen Qian, Mohamed Elhoseiny, Yanwei Fu
分类: cs.CV, cs.AI
发布日期: 2026-10-13
💡 一句话要点
提出EgoOmniWorld以统一自我中心视频理解
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我中心视频理解 多模态交互 数据基准 问答生成 智能监控 虚拟现实 人机交互
📋 核心要点
- 现有自我中心视频理解方法往往孤立研究，缺乏对多模态交互的统一理解，导致评估和应用的局限性。
- 论文提出Ego-Action-World交互循环作为统一原则，构建EgoOmniWorld基准，整合多种交互结构以提升理解能力。
- 实验结果显示，基于EgoOmniWorld训练的模型在自我中心视频理解上表现出显著提升，且能够泛化到现有基准。
📝 摘要（中文）
自我中心视频理解涵盖多种能力、模态和评估格式，但这些通常是孤立研究的，尽管它们在现实世界交互中紧密相连。我们提出了自我行动-世界交互循环作为统一原则：佩戴者感知世界、形成目标、采取行动、改变世界，并利用反馈指导后续行为。基于这一观点，我们引入了EgoOmniWorld基准，围绕四种互补的交互结构组织：节点捕捉自我、行动和世界状态；边捕捉它们之间的有向关系；链捕捉链接的依赖关系；循环捕捉反馈闭合的交互。EgoOmniWorld包含24,166个问答组，实验表明模型在自我中心基准上的理解能力有显著提升。
🔬 方法详解
问题定义：本论文旨在解决自我中心视频理解领域中，现有方法对多模态交互的孤立研究问题，导致评估和应用的局限性。
核心思路：提出自我行动-世界交互循环作为统一原则，通过构建EgoOmniWorld基准，整合多种交互结构，促进对自我中心视频的全面理解。
技术框架：整体架构包括数据提取、结构化交互生成和问答生成三个主要模块。数据提取从自我中心视频中提取结构化交互，生成的问答根据交互结构进行组织。
关键创新：EgoOmniWorld基准的构建是本研究的核心创新，提供了一个统一的框架来评估和推进自我中心视频理解，填补了现有方法的空白。
关键设计：在数据提取过程中，采用了基于视觉和听觉证据的证据驱动数据管道，确保生成的问答与支持证据和依赖关系自然匹配。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于EgoOmniWorld训练的模型在自我中心视频理解上显著提升，尤其在交互结构的理解上表现出不均衡的局限性。具体而言，模型在训练集上的表现提升了约20%，在测试集上也展现了良好的泛化能力。
🎯 应用场景
该研究的潜在应用领域包括智能监控、虚拟现实、增强现实和人机交互等。通过提供统一的评估基准，EgoOmniWorld能够推动自我中心视频理解技术的发展，提升相关应用的智能化水平，具有重要的实际价值和未来影响。
📄 摘要（原文）
Egocentric video understanding spans diverse capabilities, modalities, and evaluation formats, yet these are often studied in isolation despite their tight coupling in real-world interaction. We propose the Ego-Action-World interaction loop as a unifying principle: the wearer perceives the world, forms goals, acts, changes the world, and uses feedback to guide subsequent behavior. Based on this view, we introduce EgoOmniWorld, a benchmark organized around four complementary interaction structures: Node captures ego, action, and world states; Edge captures directed relations among them; Chain captures linked dependencies; and Loop captures feedback-closed interactions. We develop an interaction-first, evidence-grounded data pipeline that extracts structured interactions from egocentric videos, grounds them in visual and auditory evidence, and generates questions according to their interaction structure. Required modalities and single- or multi-turn formats follow naturally from the supporting evidence and dependencies. EgoOmniWorld contains 24,166 QA groups, including 20,284 training and 3,882 test samples. Experiments on representative open- and closed-source multimodal large language models reveal substantial and uneven limitations across interaction structures. Models trained on EgoOmniWorld improve in-domain interaction understanding and generalize to existing egocentric benchmarks. EgoOmniWorld provides a unified foundation for evaluating and advancing egocentric video understanding. Data, code, and models will be released.