BALTIC: A Benchmark and Cross-Domain Strategy for 3D Reconstruction Across Air and Underwater Domains Under Varying Illumination
作者: Michele Grimaldi, David Nakath, Oscar Pizarro, Jonatan Scharff Willners, Ignacio Carlucho, Yvan R. Petillot
分类: cs.CV
发布日期: 2026-04-21
💡 一句话要点
BALTIC：针对水空跨域和变光照条件下的三维重建基准与策略
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 三维重建 水下视觉 跨域学习 基准数据集 神经辐射场 高斯溅射 机器人感知
📋 核心要点
- 水空跨域和变光照下的三维重建面临环境复杂、光照变化等挑战，现有方法难以保证重建的鲁棒性和精度。
- BALTIC基准通过构建包含多种介质和光照条件的数据集，系统评估现有三维重建方法的性能，并探索跨域重建策略。
- 实验结果表明，在特定条件下，简单预处理的高斯溅射方法可达到与专用水下方法相当的性能，但鲁棒性仍需提升。
📝 摘要（中文）
针对机器人感知在不同环境条件（特别是水空转换）下鲁棒三维重建的挑战，我们提出了BALTIC，一个受控基准，用于系统评估现代三维重建方法在介质和光照变化下的性能。该基准包含13个数据集，涵盖两种介质（空气和水）和三种光照条件（环境光、人工光和混合光），以及运动类型、扫描模式和初始化轨迹的变化，形成多样化的序列集。实验装置包括一个定制水箱，配备单目相机和HTC Vive跟踪器，实现精确的地面实况姿态估计。我们还研究了跨域重建，通过少量在相似光照条件下拍摄的空中视图来增强水下图像序列。我们使用COLMAP评估了运动结构重建在轨迹精度和场景几何方面的性能，并将这些重建作为神经辐射场和3D高斯溅射方法的输入。使用地面实况轨迹和空中参考评估生成的模型，并使用感知和光度指标比较渲染输出。此外，我们进行了颜色恢复分析，以评估跨域的辐射一致性。结果表明，在受控的、纹理一致的条件下，通过简单预处理（如白平衡校正）的高斯溅射可以达到与专门的水下方法相当的性能，但在更复杂和异构的真实环境中，其鲁棒性会降低。
🔬 方法详解
问题定义：论文旨在解决水空跨域和变光照条件下，三维重建的鲁棒性和精度问题。现有方法在处理水下环境的光照衰减、散射以及水空介质差异时，性能显著下降，难以获得高质量的三维重建结果。
核心思路：论文的核心思路是构建一个受控的基准数据集BALTIC，用于系统地评估现有三维重建方法在不同介质和光照条件下的性能。同时，探索利用少量空中视图辅助水下重建的跨域重建策略，以提升水下重建的精度和鲁棒性。
技术框架：整体框架包括数据采集、三维重建和性能评估三个主要阶段。数据采集阶段使用定制的水箱和配备的单目相机和HTC Vive跟踪器，获取不同介质和光照条件下的图像序列和精确的地面实况姿态。三维重建阶段使用COLMAP进行运动结构重建，然后将重建结果作为神经辐射场（NeRF）和3D高斯溅射（3DGS）方法的输入。性能评估阶段则使用地面实况轨迹、空中参考以及感知和光度指标对重建结果进行评估。
关键创新：论文的关键创新在于构建了BALTIC基准数据集，该数据集涵盖了水空跨域和变光照条件下的多种场景，为三维重建算法的评估和比较提供了统一的标准。此外，论文还探索了利用少量空中视图辅助水下重建的跨域重建策略，为解决水下重建问题提供了一种新的思路。
关键设计：在数据采集方面，论文设计了多种运动类型、扫描模式和初始化轨迹，以增加数据集的多样性。在三维重建方面，论文选择了COLMAP、NeRF和3DGS等代表性的方法进行评估。在性能评估方面，论文使用了多种指标，包括轨迹精度、场景几何精度、感知指标和光度指标，以全面评估重建结果的质量。
📊 实验亮点
实验结果表明，在受控的、纹理一致的条件下，经过简单预处理（如白平衡校正）的3D高斯溅射方法可以达到与专门的水下方法相当的性能。然而，在更复杂和异构的真实环境中，3D高斯溅射的鲁棒性会降低，这表明未来的研究需要关注如何在复杂环境下提升三维重建算法的鲁棒性。
🎯 应用场景
该研究成果可应用于水下机器人导航、水下环境监测、水下考古等领域。通过提升水下三维重建的精度和鲁棒性，可以帮助水下机器人更好地感知环境，完成各种任务。未来，该研究可以进一步扩展到更复杂的海洋环境中，为海洋资源开发和环境保护提供技术支持。
📄 摘要（原文）
Robust 3D reconstruction across varying environmental conditions remains a critical challenge for robotic perception, particularly when transitioning between air and water. To address this, we introduce BALTIC, a controlled benchmark designed to systematically evaluate modern 3D reconstruction methods under variations in medium and lighting. The benchmark comprises 13 datasets spanning two media (air and water) and three lighting conditions (ambient, artificial, and mixed), with additional variations in motion type, scanning pattern, and initialization trajectory, resulting in a diverse set of sequences. Our experimental setup features a custom water tank equipped with a monocular camera and an HTC Vive tracker, enabling accurate ground-truth pose estimation. We further investigate cross-domain reconstruction by augmenting underwater image sequences with a small number of in-air views captured under similar lighting conditions. We evaluate Structure-from-Motion reconstruction using COLMAP in terms of both trajectory accuracy and scene geometry, and use these reconstructions as input to Neural Radiance Fields and 3D Gaussian Splatting methods. The resulting models are assessed against ground-truth trajectories and in-air references, while rendered outputs are compared using perceptual and photometric metrics. Additionally, we perform a color restoration analysis to evaluate radiometric consistency across domains. Our results show that under controlled, texture-consistent conditions, Gaussian Splatting with simple preprocessing (e.g., white balance correction) can achieve performance comparable to specialized underwater methods, although its robustness decreases in more complex and heterogeneous real-world environments