Scalable Benchmarking and Robust Learning for Noise-Free Ego-Motion and 3D Reconstruction from Noisy Video

📄 arXiv: 2501.14319v1 📥 PDF

作者: Xiaohao Xu, Tianyi Zhang, Shibo Zhao, Xiang Li, Sibo Wang, Yongqi Chen, Ye Li, Bhiksha Raj, Matthew Johnson-Roberson, Sebastian Scherer, Xiaonan Huang

分类: cs.CV, cs.RO

发布日期: 2025-01-24

备注: Accepted by ICLR 2025; 92 Pages; Project Repo: https://github.com/Xiaohao-Xu/SLAM-under-Perturbation. arXiv admin note: substantial text overlap with arXiv:2406.16850

💡 一句话要点

提出CorrGS，通过噪声视频进行鲁棒的自运动估计和3D重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自运动估计 三维重建 高斯溅射 鲁棒学习 噪声数据

📋 核心要点

  1. 现有自运动估计和3D重建模型依赖无噪声数据，在真实场景中因噪声干扰性能显著下降。
  2. 提出CorrGS，通过将噪声观测与干净3D地图渲染结果对齐，迭代优化内部干净3D表示。
  3. 在合成和真实数据上，CorrGS优于现有方法，尤其在快速运动和动态光照条件下表现突出。

📝 摘要（中文）

本文旨在重新定义鲁棒的自运动估计和逼真的3D重建，解决现有模型依赖于无噪声数据的关键局限性。虽然这种经过清理的条件简化了评估，但它们无法捕捉真实世界环境中不可预测的噪声复杂性。动态运动、传感器缺陷和同步扰动会导致这些模型在实际部署中性能急剧下降，揭示了对能够适应并擅长处理真实世界噪声的框架的迫切需求。为了弥合这一差距，我们解决了三个核心挑战：可扩展的数据生成、全面的基准测试和模型鲁棒性增强。首先，我们引入了一个可扩展的噪声数据合成管道，该管道生成模拟复杂运动、传感器缺陷和同步误差的各种数据集。其次，我们利用此管道创建了Robust-Ego3D，这是一个经过严格设计的基准，旨在揭示噪声引起的性能下降，突出了当前基于学习的方法在自运动精度和3D重建质量方面的局限性。第三，我们提出了一种基于对应关系引导的高斯溅射（CorrGS），这是一种新颖的测试时自适应方法，通过将噪声观测与来自干净3D地图的渲染RGB-D帧对齐，逐步细化内部干净3D表示，通过视觉对应关系增强几何对齐和外观恢复。在合成和真实世界数据上的大量实验表明，CorrGS始终优于先前的最先进方法，尤其是在涉及快速运动和动态照明的场景中。

🔬 方法详解

问题定义：现有自运动估计和3D重建方法在理想的无噪声环境下表现良好，但在实际应用中，由于传感器噪声、动态物体、运动模糊等因素的影响，性能会显著下降。这些方法缺乏对噪声的鲁棒性，难以在真实世界场景中可靠地工作。

核心思路：CorrGS的核心思路是在测试时自适应地优化一个内部的、干净的3D表示。通过将带噪声的观测数据与从干净3D地图渲染的RGB-D图像进行对齐，利用视觉对应关系来逐步修正3D表示，从而提高几何对齐的准确性和外观恢复的质量。这种方法避免了直接在噪声数据上训练模型，而是利用干净的先验知识来指导模型的优化。

技术框架：CorrGS包含以下主要模块：1) 噪声数据生成管道：用于生成包含各种噪声类型（如传感器噪声、运动模糊、同步误差）的合成数据集，用于训练和评估模型。2) Robust-Ego3D基准：一个专门设计的基准，用于评估模型在噪声环境下的自运动估计和3D重建性能。3) Correspondence-guided Gaussian Splatting (CorrGS)：核心算法模块，包含一个内部的干净3D表示（使用高斯溅射表示），以及一个基于视觉对应关系的优化过程。该过程迭代地将噪声观测与从干净3D地图渲染的RGB-D图像对齐，并更新3D表示的参数。

关键创新：CorrGS的关键创新在于其测试时自适应的优化策略，以及利用视觉对应关系来指导3D表示的修正。与传统的直接在噪声数据上训练模型的方法不同，CorrGS利用干净的先验知识来约束模型的优化过程，从而提高了模型的鲁棒性。此外，CorrGS使用高斯溅射作为3D表示，可以实现高质量的渲染和高效的优化。

关键设计：CorrGS的关键设计包括：1) 高斯溅射表示：使用高斯溅射来表示3D场景，每个高斯分布包含位置、协方差、颜色和透明度等参数。2) 视觉对应关系：利用特征匹配（如SIFT、ORB）或深度信息来建立噪声观测与渲染图像之间的对应关系。3) 损失函数：使用光度一致性损失和深度一致性损失来约束3D表示的优化。光度一致性损失鼓励渲染图像与噪声观测在颜色上相似，深度一致性损失鼓励渲染图像的深度与噪声观测的深度一致。4) 优化算法：使用梯度下降算法（如Adam）来优化高斯溅射的参数，使其能够更好地拟合噪声观测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CorrGS在合成和真实世界数据集上均优于现有方法。在包含快速运动和动态光照的场景中，CorrGS的性能提升尤为显著。例如，在Robust-Ego3D基准测试中，CorrGS在自运动估计的精度和3D重建的质量方面均取得了显著的提升，证明了其在噪声环境下的鲁棒性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。在这些场景中，传感器数据通常受到噪声干扰，导致定位和地图构建的精度下降。CorrGS能够提高这些系统在噪声环境下的鲁棒性和可靠性，从而提升用户体验和安全性。未来，该技术有望进一步推广到更多需要精确三维重建和定位的应用场景。

📄 摘要（原文）

We aim to redefine robust ego-motion estimation and photorealistic 3D reconstruction by addressing a critical limitation: the reliance on noise-free data in existing models. While such sanitized conditions simplify evaluation, they fail to capture the unpredictable, noisy complexities of real-world environments. Dynamic motion, sensor imperfections, and synchronization perturbations lead to sharp performance declines when these models are deployed in practice, revealing an urgent need for frameworks that embrace and excel under real-world noise. To bridge this gap, we tackle three core challenges: scalable data generation, comprehensive benchmarking, and model robustness enhancement. First, we introduce a scalable noisy data synthesis pipeline that generates diverse datasets simulating complex motion, sensor imperfections, and synchronization errors. Second, we leverage this pipeline to create Robust-Ego3D, a benchmark rigorously designed to expose noise-induced performance degradation, highlighting the limitations of current learning-based methods in ego-motion accuracy and 3D reconstruction quality. Third, we propose Correspondence-guided Gaussian Splatting (CorrGS), a novel test-time adaptation method that progressively refines an internal clean 3D representation by aligning noisy observations with rendered RGB-D frames from clean 3D map, enhancing geometric alignment and appearance restoration through visual correspondence. Extensive experiments on synthetic and real-world data demonstrate that CorrGS consistently outperforms prior state-of-the-art methods, particularly in scenarios involving rapid motion and dynamic illumination.