DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction
作者: Jenny Seidenschwarz, Qunjie Zhou, Bardienus Duisterhof, Deva Ramanan, Laura Leal-Taixé
分类: cs.CV
发布日期: 2024-09-03 (更新: 2025-03-12)
备注: Accepted to 3DV 2025
💡 一句话要点
DynOMo：提出动态在线单目高斯重建方法，实现无位姿单目相机下的在线点追踪。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 在线点追踪 单目视觉 动态场景重建 3D高斯溅射 无位姿相机
📋 核心要点
- 现有方法或需离线处理，或依赖多视角相机，不适用于机器人导航或混合现实等真实场景。
- DynOMo利用3D高斯溅射在线重建动态场景，并扩展高斯表示以捕捉内容和运动，同时估计相机位姿。
- 该方法无需对应监督，通过特征重建和相似性正则化实现点轨迹涌现，性能与现有方法相当。
📝 摘要（中文）
本文提出了一种名为动态在线单目重建（DynOMo）的方法，旨在解决从无位姿单目相机输入中进行在线2D和3D点追踪的挑战。DynOMo利用3D高斯溅射以在线方式重建动态场景。该方法扩展了3D高斯表示，以捕捉新的内容和对象运动，同时从单个RGB帧估计相机运动。DynOMo通过强大的图像特征重建和新颖的相似性增强正则化项，实现了点轨迹的涌现，而无需任何对应级别的监督。它为使用单目无位姿相机进行在线点追踪设定了第一个基线，其性能与现有方法相当。我们希望能够激发社区推进在线点追踪和重建技术，从而扩展其在各种实际场景中的适用性。
🔬 方法详解
问题定义：论文旨在解决从单目无位姿相机输入中进行在线2D和3D点追踪的问题。现有方法的痛点在于，要么需要离线处理，要么依赖多视角相机设置，这限制了它们在机器人导航、混合现实等实际应用中的部署。这些方法难以在资源受限和实时性要求高的场景中有效工作。
核心思路：论文的核心思路是利用3D高斯溅射（Gaussian Splatting）技术，以在线方式重建动态场景，并在此基础上实现点追踪。通过扩展3D高斯表示，可以同时捕捉场景内容、对象运动和相机运动。这种方法将点追踪问题转化为一个动态场景重建问题，从而能够利用场景的几何信息来提高追踪的鲁棒性和准确性。
技术框架：DynOMo的整体框架包含以下几个主要模块：1) 动态场景重建模块：使用3D高斯溅射技术，从单目视频流中在线重建动态场景。2) 相机位姿估计模块：从单个RGB帧中估计相机运动，为场景重建提供必要的位姿信息。3) 特征重建模块：通过强大的图像特征重建，提取图像中的关键点特征。4) 点轨迹生成模块：利用相似性增强的正则化项，生成鲁棒的点轨迹，实现点追踪。
关键创新：DynOMo的关键创新在于：1) 提出了一种基于3D高斯溅射的在线动态场景重建方法，能够同时捕捉场景内容、对象运动和相机运动。2) 引入了一种新颖的相似性增强正则化项，用于生成鲁棒的点轨迹，无需任何对应级别的监督。3) 实现了从单目无位姿相机输入中进行在线点追踪，为该领域设定了新的基线。
关键设计：在3D高斯溅射中，使用高斯分布来表示场景中的点，每个高斯分布由一个均值向量、一个协方差矩阵和一个颜色向量来描述。为了捕捉动态场景中的运动，论文对高斯分布的参数进行了动态更新。相似性增强正则化项的设计旨在鼓励相邻帧中相似的特征点具有相似的运动轨迹。具体的损失函数设计和网络结构细节在论文中有详细描述，包括如何平衡重建损失、运动损失和正则化损失。
🖼️ 关键图片
📊 实验亮点
DynOMo在单目无位姿相机下的在线点追踪任务中取得了与现有方法相当的性能。该方法无需任何对应级别的监督，即可实现鲁棒的点轨迹生成。实验结果表明，DynOMo能够有效地处理遮挡、光照变化等挑战，并生成准确的点轨迹。该研究为在线点追踪领域提供了一个新的思路和基线。
🎯 应用场景
DynOMo在机器人导航、增强现实、虚拟现实等领域具有广泛的应用前景。例如，在机器人导航中，它可以帮助机器人实时感知周围环境，并追踪关键点，从而实现自主导航。在增强现实中，它可以将虚拟物体与真实场景进行精确对齐，并实现自然的交互。此外，该技术还可以应用于运动捕捉、视频编辑等领域，具有重要的实际价值和潜在的商业前景。
📄 摘要（原文）
Reconstructing scenes and tracking motion are two sides of the same coin. Tracking points allow for geometric reconstruction [14], while geometric reconstruction of (dynamic) scenes allows for 3D tracking of points over time [24, 39]. The latter was recently also exploited for 2D point tracking to overcome occlusion ambiguities by lifting tracking directly into 3D [38]. However, above approaches either require offline processing or multi-view camera setups both unrealistic for real-world applications like robot navigation or mixed reality. We target the challenge of online 2D and 3D point tracking from unposed monocular camera input introducing Dynamic Online Monocular Reconstruction (DynOMo). We leverage 3D Gaussian splatting to reconstruct dynamic scenes in an online fashion. Our approach extends 3D Gaussians to capture new content and object motions while estimating camera movements from a single RGB frame. DynOMo stands out by enabling emergence of point trajectories through robust image feature reconstruction and a novel similarity-enhanced regularization term, without requiring any correspondence-level supervision. It sets the first baseline for online point tracking with monocular unposed cameras, achieving performance on par with existing methods. We aim to inspire the community to advance online point tracking and reconstruction, expanding the applicability to diverse real-world scenarios.