Spatial Cognition from Egocentric Video: Out of Sight, Not Out of Mind

📄 arXiv: 2404.05072v2 📥 PDF

作者: Chiara Plizzari, Shubham Goel, Toby Perrett, Jacob Chalk, Angjoo Kanazawa, Dima Damen

分类: cs.CV

发布日期: 2024-04-07 (更新: 2025-01-21)

备注: Accepted at 3DV 2025. 14 pages including references and appendix. Project Webpage: http://dimadamen.github.io/OSNOM/

💡 一句话要点

提出LMK方法以解决动态物体的3D跟踪问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 动态物体跟踪 空间认知 自我中心摄像头 3D定位 视觉匹配 长视频理解 物体轨迹保持

📋 核心要点

  1. 现有方法在动态物体跟踪中面临挑战，尤其是在物体超出视野时难以保持跟踪。
  2. 论文提出的LMK方法通过将2D观察提升到3D坐标，结合视觉特征和时间信息进行物体匹配。
  3. 实验结果显示，LMK在120秒后能够正确定位57%的物体，显著优于现有的3D方法和一般2D跟踪方法。

📝 摘要（中文）

随着人类在环境中移动并执行日常任务，他们能够回忆起物体的位置，即使这些物体当前不在视线范围内。本文旨在模拟这种空间认知能力，提出了“视线之外，心中有数”的任务，使用自我中心摄像头捕捉的观察数据进行3D动态物体跟踪。我们引入了一种简单而有效的方法，称为Lift, Match, and Keep（LMK），该方法将部分2D观察提升到3D世界坐标，通过视觉外观、3D位置和交互进行时间匹配，形成物体轨迹，并在物体超出摄像头视野时保持这些轨迹。我们在EPIC-KITCHENS的100个长视频上对LMK进行了基准测试，结果表明空间认知对于在短期和长期内正确定位物体至关重要。

🔬 方法详解

问题定义：本文解决的是在动态环境中，如何有效跟踪超出视野的物体。现有方法在物体不在视野时往往无法保持准确的跟踪，导致定位精度下降。

核心思路：LMK方法的核心思想是将部分2D观察数据提升到3D空间，通过视觉特征和时间信息进行物体匹配，从而在物体超出视野时仍能保持其轨迹。

技术框架：LMK的整体架构包括三个主要模块：首先是“Lift”模块，将2D观察提升到3D坐标；其次是“Match”模块，通过视觉外观和3D位置进行时间匹配；最后是“Keep”模块，保持物体轨迹，即使物体超出视野。

关键创新：LMK的主要创新在于其能够在物体不在视野时仍然保持跟踪，这与现有方法的局限性形成鲜明对比，后者往往在物体消失后无法继续跟踪。

关键设计：在关键设计方面，LMK采用了特定的损失函数来优化物体匹配的准确性，并设计了适应性强的网络结构，以处理不同场景下的视觉特征。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LMK在120秒后能够正确定位57%的物体，相较于最新的3D方法（33%）和一般2D跟踪方法（17%）有显著提升，展示了其在空间认知任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人导航和增强现实等。通过提高动态物体的跟踪精度，LMK方法能够在复杂环境中提供更可靠的物体识别和定位，具有重要的实际价值和未来影响。

📄 摘要（原文）

As humans move around, performing their daily tasks, they are able to recall where they have positioned objects in their environment, even if these objects are currently out of their sight. In this paper, we aim to mimic this spatial cognition ability. We thus formulate the task of Out of Sight, Not Out of Mind - 3D tracking active objects using observations captured through an egocentric camera. We introduce a simple but effective approach to address this challenging problem, called Lift, Match, and Keep (LMK). LMK lifts partial 2D observations to 3D world coordinates, matches them over time using visual appearance, 3D location and interactions to form object tracks, and keeps these object tracks even when they go out-of-view of the camera. We benchmark LMK on 100 long videos from EPIC-KITCHENS. Our results demonstrate that spatial cognition is critical for correctly locating objects over short and long time scales. E.g., for one long egocentric video, we estimate the 3D location of 50 active objects. After 120 seconds, 57% of the objects are correctly localised by LMK, compared to just 33% by a recent 3D method for egocentric videos and 17% by a general 2D tracking method.