iSEE: Object Permanence Through Self-Supervision

📄 arXiv: 2610.01201v1 📥 PDF

作者: Pramish Paudel, Ajad Chhatkuli, Luc Van Gool, Danda Pani Paudel

分类: cs.CV

发布日期: 2026-10-01

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出iSEE框架以解决物体持久性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物体持久性 自监督学习 槽注意力 视频理解 机器人导航 自动驾驶

📋 核心要点

  1. 现有方法在物体遮挡时无法有效保持物体的身份和位置，导致物体持久性问题难以解决。
  2. iSEE框架通过物体证据建模、外观与位置分离以及重现驱动的持久性，提出了一种无标签的自监督学习方案。
  3. 在LA-CATER静态数据集上，iSEE在86%的遮挡情况下成功重现物体，相较于SlotContrast的32%有显著提升。

📝 摘要（中文）

物体持久性是视频表示中跟踪、预测和规划的核心，尤其是在物体被遮挡时。现有的跟踪器依赖于标签学习，而自监督的物体中心方法则通过槽注意力发现物体，但在遮挡情况下槽会丢失，导致持久性无法实现。为了解决这一问题，本文提出了iSEE框架，具备物体证据建模、外观与位置分离、以及基于重现的持久性等三大组件。实验结果表明，iSEE在LA-CATER静态数据集上，能够在86%的遮挡情况下将重现物体归还至其槽中，显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决物体持久性问题，即在物体被遮挡时如何保持其身份和位置的连续性。现有方法依赖于标签学习，无法有效处理遮挡情况。

核心思路：iSEE框架通过自监督学习实现物体的持久性，利用槽注意力模型来判断物体何时被遮挡，并通过重现信息进行再识别。

技术框架：iSEE框架主要由三个组件构成：物体证据建模、外观与位置分离、以及基于重现的持久性。物体证据建模通过比较槽的过去状态来判断遮挡情况；外观与位置分离则通过两个槽流分别处理物体的外观和位置；而重现驱动的持久性则通过跟踪隐藏物体的位置来实现。

关键创新：iSEE的创新在于无标签学习的能力，能够在遮挡情况下保持物体的身份和位置，显著提升了物体重现的准确性。与现有方法相比，iSEE在处理遮挡时表现出更强的鲁棒性。

关键设计：iSEE的设计中，槽注意力机制用于物体证据建模，两个槽流分别处理外观和位置信息，损失函数设计上强调重现信息的学习，以确保物体在重现时能够被准确识别。网络结构上，采用了适应性强的深度学习模型，以提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LA-CATER静态数据集上，iSEE在86%的遮挡情况下成功将重现物体归还至其槽中，显著优于SlotContrast的32%。此外，iSEE在隐藏状态下的定位精度也达到了4.1 mAP，接近标签训练的最先进方法RAM。

🎯 应用场景

iSEE框架在视频理解、机器人导航和自动驾驶等领域具有广泛的应用潜力。通过有效跟踪和预测物体的行为，iSEE可以提升智能系统在复杂环境中的决策能力，推动相关技术的发展。

📄 摘要（原文）

Object permanence, keeping track of an object's identity and position while it is occluded, is central to video representations that track, predict and plan. Trackers that achieve it learn from boxes, track identities and visibility labels. On the other hand, self-supervised object-centric methods discover objects without labels: through slot attention, it represents a video as slots that bind to objects and follow them across frames. However, these slots are lost under occlusion, making the desired permanence impossible. Reasoning permanence is a hard problem because it requires to detect when an object becomes occluded, re-identify when object reappears, and keep the object's hidden position continuous, using reapperance as the only learning cue. To address this, we propose iSEE, a novel framework that offers all three aforementioned requirements, without any labels whatsoever. We built iSEE using the following three proposed components: (i) Object evidence modelling: a slot's attention, compared with its own past, reveals when its object is hidden. (ii) Appearance-position separation: two slot streams let the appearance be held for re-identification while the position keeps changing. (iii) Permanence from reappearance: a walker follows the hidden object's position, trained only on where the object reappears. On LA-CATER static, iSEE returns a reappearing object to its own slot after 86% of occlusions, against 32% for SlotContrast, and localises it while hidden within 4.1 mAP of the label-trained SoTA RAM. The two streams also allow downstream planning, with the position stream as the action of a world model. Project page: https://insait-institute.github.io/iSEE/