Reinforcing Egocentric Spatial Perception in Multimodal Large Language Models via Ego Scene Augmentation

📄 arXiv: 2607.14497v1 📥 PDF

作者: Chi Kit Wong, Ye Pan, Yuanhuiyi Lyu, Xu Zheng, Zidong Cao, Lutao Jiang, Zixin Zhang, Huiyu Zhou, Xuming Hu

分类: cs.CV

发布日期: 2026-07-16

备注: 14 pages, 8 figures. Chi Kit Wong and Ye Pan contributed equally. Code: https://github.com/Chikit-WONG/spatialGraph

💡 一句话要点

提出Ego Scene Augmentation以解决多模态大语言模型空间感知不足问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我中心视觉问答 多模态大语言模型 空间感知 Ego-element Graph 增强现实 智能家居 机器人导航

📋 核心要点

  1. 现有的多模态大语言模型在复杂自我中心场景中的空间推理能力不足，限制了其在实际应用中的表现。
  2. 本文提出Ego Scene Augmentation（ESA）框架，通过构建Ego-element Graph来增强自我中心视角的空间感知能力。
  3. 在EgoTextVQA基准测试中，ESA框架在室内和室外设置下分别提升了8.14%和8.72%的性能，尤其在室内购物子集上表现突出。

📝 摘要（中文）

自我中心视觉问答（Egocentric VQA）作为多模态大语言模型（MLLMs）与现实世界交互的重要任务，受到了广泛关注。然而，现有的MLLMs在复杂的自我中心场景中进行有效空间推理时面临挑战，主要由于其空间感知能力有限。为此，本文提出了Ego Scene Augmentation（ESA），一个自我中心空间感知框架，通过提出的Ego-element Graph来增强自我中心视角下的空间感知能力。具体而言，本文构建了Ego-element Graph，整合了由视觉基础模型提供的自我中心空间特征，并通过该图增强了MLLMs在自我视角场景中的空间感知能力。实验结果表明，ESA在EgoTextVQA基准上显著提升了性能，室内设置下提升8.14%，室外设置下提升8.72%。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在复杂自我中心场景中空间推理能力不足的问题。现有方法在处理自我中心视觉问答时，往往无法有效理解和推理空间关系，导致性能不佳。

核心思路：论文的核心思路是通过构建Ego-element Graph作为中介表示，增强多模态大语言模型的空间感知能力。该图能够有效整合自我中心空间特征，从而提升模型在自我视角场景中的表现。

技术框架：ESA框架主要包括两个模块：首先，构建Ego-element Graph，整合来自视觉基础模型的自我中心空间特征；其次，通过该图增强多模态大语言模型的空间感知能力，形成完整的处理流程。

关键创新：最重要的技术创新在于Ego-element Graph的构建与应用，它不仅提供了自我中心空间特征的整合，还为多模态大语言模型提供了新的空间推理视角，与现有方法相比，显著提升了模型的空间理解能力。

关键设计：在设计中，Ego-element Graph的构建依赖于视觉基础模型的输出，确保了空间特征的准确性和丰富性。此外，模型的训练过程中采用了特定的损失函数，以优化空间感知能力，确保模型在自我中心场景中的有效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ESA框架在EgoTextVQA基准测试中表现优异，室内设置下性能提升8.14%，室外设置下提升8.72%。特别是在室内购物子集上，ESA展现了最显著的性能提升，证明了其在复杂自我中心场景中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、增强现实和机器人导航等场景。在这些领域中，增强的自我中心空间感知能力能够显著提升系统的交互性和智能化水平，推动多模态大语言模型在实际应用中的落地与发展。未来，ESA框架有望在更多复杂场景中展现其价值，促进人机交互的自然性与智能化。

📄 摘要（原文）

Egocentric Visual Question Answering (VQA) has attracted widespread attention as an important task for enabling Multimodal Large Language Models (MLLMs) to interact with the real world. However, existing MLLMs struggle to perform effective spatial reasoning in complex egocentric scenes due to their limited spatial perception capabilities. To this end, we introduce Ego Scene Augmentation (ESA), an egocentric spatial perception framework, which actively enhances the spatial perception capabilities from the egocentric perspective, powered by the proposed Ego-element Graph. Our core insight is leveraging the Ego-element Graph as an intermediary representation to augment the egocentric spatial perception of MLLMs via visual foundational models. Specifically, we 1) construct the Ego-element Graph, which encapsulates and integrates egocentric spatial features enabled by visual foundational models; 2) enhance the spatial perception capabilities of MLLMs via the Ego-element Graph for ego-perspective scenes. Our proposed ESA framework presents significant performance improvement on the EgoTextVQA benchmark. We achieve an 8.14% gain on the indoor setting and an 8.72% gain on the outdoor setting. Furthermore, our ESA shows the most impressive performance improvement in the shopping subset of the indoor setting. The project code is publicly available.