Consistent Instance Field for Dynamic Scene Understanding

📄 arXiv: 2512.14126v1 📥 PDF

作者: Junyi Wu, Van Nguyen Nguyen, Benjamin Planche, Jiachen Tao, Changchang Sun, Zhongpai Gao, Zhenghao Zhao, Anwesa Choudhuri, Gengyu Zhang, Meng Zheng, Feiran Wang, Terrence Chen, Yan Yan, Ziyan Wu

分类: cs.CV

发布日期: 2025-12-16

💡 一句话要点

提出一致性实例场，用于动态场景理解中的时空连续概率建模。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景理解 实例分割 神经场 可变形3D高斯 时空表示

📋 核心要点

  1. 现有动态场景理解方法依赖离散跟踪或视角相关特征，难以有效解耦可见性和对象身份。
  2. 论文提出一致性实例场，通过对时空点建模 occupancy 概率和条件实例分布，实现可见性与对象身份的解耦。
  3. 实验表明，该方法在 HyperNeRF 和 Neu3D 数据集上，显著提升了 novel-view 全景分割和开放词汇 4D 查询的性能。

📝 摘要（中文）

本文提出了一种一致性实例场（Consistent Instance Field），这是一种用于动态场景理解的连续且概率性的时空表示方法。与依赖离散跟踪或视角相关特征的现有方法不同，我们的方法通过对每个时空点进行 occupancy 概率和条件实例分布建模，将可见性与持久的对象身份解耦。为了实现这一点，我们引入了一种基于可变形3D高斯的新型实例嵌入表示，该表示联合编码辐射和语义信息，并通过可微光栅化直接从输入RGB图像和实例掩码中学习。此外，我们引入了新的机制来校准每个高斯的身份，并将高斯重采样到语义活跃区域，从而确保跨空间和时间的一致实例表示。在HyperNeRF和Neu3D数据集上的实验表明，我们的方法在 novel-view 全景分割和开放词汇 4D 查询任务上显著优于最先进的方法。

🔬 方法详解

问题定义：现有动态场景理解方法在处理复杂场景时，难以维持对象身份的一致性，尤其是在视角变化或遮挡情况下。这些方法通常依赖于离散的跟踪算法或视角相关的特征，导致表示的连续性和泛化能力受限。因此，如何建立一种能够有效解耦可见性和对象身份，并具备时空一致性的动态场景表示，是本文要解决的核心问题。

核心思路：论文的核心思路是利用连续的概率场来表示动态场景，并显式地建模每个时空点的 occupancy 概率和条件实例分布。通过这种方式，可以将可见性（occupancy）与对象身份（实例分布）解耦，从而提高表示的鲁棒性和泛化能力。此外，论文还引入了可变形3D高斯来编码辐射和语义信息，并设计了相应的机制来校准高斯身份和重采样高斯，以确保实例表示的一致性。

技术框架：该方法的技术框架主要包括以下几个模块：1) 基于可变形3D高斯的实例嵌入表示：使用可变形3D高斯来联合编码辐射和语义信息，并通过可微光栅化从RGB图像和实例掩码中学习。2) 身份校准机制：引入新的机制来校准每个高斯的身份，以确保实例表示的一致性。3) 高斯重采样机制：将高斯重采样到语义活跃区域，以提高表示的效率和准确性。4) occupancy 概率和条件实例分布建模：对每个时空点进行 occupancy 概率和条件实例分布建模，以解耦可见性和对象身份。

关键创新：该方法最重要的技术创新点在于提出了一种一致性实例场，它是一种连续且概率性的时空表示方法，能够有效解耦可见性和对象身份。此外，该方法还引入了基于可变形3D高斯的新型实例嵌入表示，并设计了相应的身份校准和高斯重采样机制，从而确保了实例表示的一致性。与现有方法相比，该方法在 novel-view 全景分割和开放词汇 4D 查询任务上取得了显著的性能提升。

关键设计：在关键设计方面，论文采用了可微光栅化技术，使得可以直接从RGB图像和实例掩码中学习高斯参数。此外，论文还设计了一种新的损失函数，用于优化高斯参数和身份校准。具体的网络结构和参数设置在论文中有详细描述，例如高斯数量、学习率、优化器等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在 HyperNeRF 和 Neu3D 数据集上，显著优于当前最先进的方法。在 novel-view 全景分割任务上，该方法取得了明显的性能提升，尤其是在处理复杂场景和遮挡情况时。此外，该方法在开放词汇 4D 查询任务上也表现出色，能够准确地查询特定对象在不同时间和空间位置的信息。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。例如，在自动驾驶中，该方法可以帮助车辆更好地理解周围的动态环境，从而做出更安全、更合理的决策。在机器人导航中，该方法可以帮助机器人构建更准确、更鲁棒的地图，从而实现更高效的导航。在增强现实中，该方法可以帮助将虚拟对象更自然地融入到真实场景中，从而提供更沉浸式的用户体验。

📄 摘要（原文）

We introduce Consistent Instance Field, a continuous and probabilistic spatio-temporal representation for dynamic scene understanding. Unlike prior methods that rely on discrete tracking or view-dependent features, our approach disentangles visibility from persistent object identity by modeling each space-time point with an occupancy probability and a conditional instance distribution. To realize this, we introduce a novel instance-embedded representation based on deformable 3D Gaussians, which jointly encode radiance and semantic information and are learned directly from input RGB images and instance masks through differentiable rasterization. Furthermore, we introduce new mechanisms to calibrate per-Gaussian identities and resample Gaussians toward semantically active regions, ensuring consistent instance representations across space and time. Experiments on HyperNeRF and Neu3D datasets demonstrate that our method significantly outperforms state-of-the-art methods on novel-view panoptic segmentation and open-vocabulary 4D querying tasks.