Never Look Back: Understanding Persistence in 3D Object Memory from Egocentric Videos

📄 arXiv: 2610.10538v1 📥 PDF

作者: Shravan Chaudhari, William Paul, Suchi Saria, Rama Chellappa, Homanga Bharadhwaj

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-10-07

备注: Project page: https://ledger-3d.github.io . Code: https://github.com/LEDGER-3D/LEDGER

💡 一句话要点

提出Ledger以解决3D物体记忆的持久性问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D物体记忆 自我中心视频 物体定位 智能助手 深度学习

📋 核心要点

  1. 现有方法在处理物体记忆时，往往无法有效保持物体在视野外的状态，导致信息丢失。
  2. 论文提出Ledger系统，通过观察日常活动，构建持久的3D物体记忆，能够在物体离开视野后仍保持其信息。
  3. 实验结果显示，Ledger在HD-EPIC准确率从29.7%提升至42.6%，UCS-Bench准确率从33.8%提升至38.5%。

📝 摘要（中文）

在日常生活中，我们能够记住物体的位置和内容，即使在未预见需要的情况下。本文研究了如何通过自我中心视频构建类似的记忆，提出了Ledger，一个持久的3D物体记忆系统。Ledger结合了物体位置、历史和上下文描述，能够在物体离开视野后仍然保持对其的记忆。该系统通过聚类物体观察数据和记录移动，减少了定位噪声的影响，并能够在不访问原始图像或视频的情况下回答空间问题。实验结果显示，Ledger在HD-EPIC和UCS-Bench数据集上的准确率显著提高，且在Ego4D对象定位中表现出色。

🔬 方法详解

问题定义：本文旨在解决如何从自我中心视频中构建持久的3D物体记忆的问题。现有方法在物体离开视野后无法有效保持其信息，导致记忆的缺失。

核心思路：Ledger系统通过聚合物体的观察数据、历史和上下文描述，能够在物体离开视野后仍然保持对其的记忆。该设计旨在模拟人类的记忆能力，确保信息的持久性。

技术框架：Ledger的整体架构包括数据采集、物体观察聚类、状态记录和空间问题回答四个主要模块。数据采集通过自我中心视频进行，聚类模块负责将观察数据按静止位置进行分类。

关键创新：Ledger的主要创新在于其能够在物体离开视野后仍然保持记忆，并通过聚类和状态记录机制减少定位噪声的影响。这一方法与传统的物体记忆方法有本质区别。

关键设计：在设计中，Ledger采用了短描述来保存物体的详细信息，如内容和支撑表面。同时，记录移动仅在获得重复证据后进行，以确保信息的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Ledger在HD-EPIC数据集上的准确率从29.7%提升至42.6%，UCS-Bench数据集的准确率从33.8%提升至38.5%。在Ego4D对象定位中，系统实现了0.99米的中位误差，显示出其在物体记忆和定位方面的显著提升。

🎯 应用场景

Ledger系统在智能助手、机器人导航和增强现实等领域具有广泛的应用潜力。通过提供持久的物体记忆，能够提升用户体验，帮助用户更好地管理和定位物体，未来可能在家庭自动化和智能城市等场景中发挥重要作用。

📄 摘要（原文）

As we move through the world and carry out everyday tasks, we encounter objects that may become relevant only later. We are capable of recalling where we left something or what was inside a container, even without knowing we would need it later. Here, we study how an embodied assistant can build a similar memory from egocentric videos, by observing a person's day-to-day activities. We present Ledger, a persistent 3D object memory that combines object locations, their histories, and contextual descriptions. It associates observations across the recording and retains objects after they leave the view, including those the person never touches. It clusters each object's observations by resting locations and records a move only after repeated evidence, reducing the effect of localization noise. Short descriptions preserve details such as an object's contents or supporting surface. It saves these records to later answer spatial questions without having to access the original images or video. Our memory raises HD-EPIC accuracy from 29.7% to 42.6%, UCS-Bench accuracy from 33.8% to 38.5% and localizes Ego4D objects with a 0.99 m median error on returned predictions. Our analyses identify complementary roles for temporal persistence, contextual descriptions, and retrieval. Our study on 100 stitched streams of multiple scenes each further exposes failures in both retrieval and construction. Per-scene construction partially recovers the performance lost across scene changes compared to that of single scene streams.