Plenodium: UnderWater 3D Scene Reconstruction with Plenoptic Medium Representation
作者: Changguanng Wu, Jiangxin Dong, Chengjian Li, Jinhui Tang
分类: cs.CV
发布日期: 2025-05-27
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Plenodium：水下三维场景重建的光场介质表示方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 水下三维重建 光场介质表示 球谐编码 深度排序正则化 伪深度高斯补全
📋 核心要点
- 水下三维重建受限于水体介质的影响，现有方法难以准确建模光线传播和散射。
- Plenodium通过光场介质表示，结合方向和位置信息，更精确地建模水下环境。
- 通过伪深度高斯补全和深度排序正则化损失，提升了重建的鲁棒性和几何一致性。
📝 摘要（中文）
我们提出Plenodium（光场介质），一个有效的三维表示框架，能够联合建模物体和参与介质。与现有仅依赖于视角相关的建模的介质表示方法不同，我们新颖的光场介质表示通过球谐编码结合了方向和位置信息，从而实现高度精确的水下场景重建。为了解决退化的水下环境中的初始化挑战，我们提出了伪深度高斯补全，以利用鲁棒的深度先验来增强COLMAP导出的点云。此外，我们开发了一种深度排序正则化损失，以优化场景的几何结构并提高深度图的序数一致性。在真实水下数据集上的大量实验表明，我们的方法在三维重建方面取得了显著的改进。此外，我们使用具有ground truth和可控散射介质的模拟数据集来证明我们的方法在水下场景中的恢复能力。我们的代码和数据集可在https://plenodium.github.io/上找到。
🔬 方法详解
问题定义：水下三维重建面临的主要问题是水体介质对光线的吸收和散射，导致图像质量下降，传统的三维重建方法难以获得准确的几何结构。现有的介质表示方法通常只考虑视角相关的信息，无法充分建模复杂的水下光线传播现象，导致重建精度不高。
核心思路：Plenodium的核心思路是使用一种新的光场介质表示方法，同时考虑光线的方向和位置信息，从而更全面地建模水下环境中的光线传播。通过球谐编码，将方向和位置信息融入到介质表示中，使得模型能够更好地理解和恢复水下场景的几何结构。
技术框架：Plenodium的整体框架包括以下几个主要阶段：1) 使用COLMAP等方法进行初始三维重建，得到稀疏点云；2) 使用伪深度高斯补全方法，利用深度先验信息增强点云的密度和质量；3) 构建光场介质表示，使用球谐编码对方向和位置信息进行编码；4) 使用深度排序正则化损失函数，优化场景的几何结构和深度图的一致性；5) 通过渲染和优化，得到最终的三维重建结果。
关键创新：Plenodium的关键创新在于提出了光场介质表示方法，该方法能够同时建模物体和参与介质，并结合方向和位置信息。与现有的仅依赖于视角相关的建模方法相比，Plenodium能够更准确地描述水下环境中的光线传播现象，从而提高三维重建的精度。此外，伪深度高斯补全和深度排序正则化损失也是重要的创新点，它们分别解决了初始化和几何优化的问题。
关键设计：在光场介质表示中，使用了球谐编码来表示方向和位置信息。球谐编码是一种常用的表示方向信息的工具，可以有效地捕捉光线的方向变化。深度排序正则化损失函数的设计考虑了深度图的序数一致性，通过约束相邻像素的深度关系，提高重建结果的几何一致性。伪深度高斯补全方法利用了深度先验信息，通过高斯分布对初始点云进行补全，从而提高重建的鲁棒性。
🖼️ 关键图片
📊 实验亮点
在真实水下数据集上的实验表明，Plenodium在三维重建方面取得了显著的改进。与现有的方法相比，Plenodium能够更准确地恢复水下场景的几何结构，并减少噪声和伪影。在模拟数据集上的实验也验证了Plenodium在水下环境中的恢复能力。具体性能数据未知，但论文强调了显著的改进。
🎯 应用场景
Plenodium在水下机器人导航、水下考古、海洋生物研究等领域具有广泛的应用前景。它可以帮助水下机器人更好地理解周围环境，实现自主导航和目标识别。在水下考古方面，可以用于重建水下遗址的三维模型，方便研究和保护。在海洋生物研究方面，可以用于观察和记录海洋生物的行为和栖息地。
📄 摘要（原文）
We present Plenodium (plenoptic medium), an effective and efficient 3D representation framework capable of jointly modeling both objects and participating media. In contrast to existing medium representations that rely solely on view-dependent modeling, our novel plenoptic medium representation incorporates both directional and positional information through spherical harmonics encoding, enabling highly accurate underwater scene reconstruction. To address the initialization challenge in degraded underwater environments, we propose the pseudo-depth Gaussian complementation to augment COLMAP-derived point clouds with robust depth priors. In addition, a depth ranking regularized loss is developed to optimize the geometry of the scene and improve the ordinal consistency of the depth maps. Extensive experiments on real-world underwater datasets demonstrate that our method achieves significant improvements in 3D reconstruction. Furthermore, we conduct a simulated dataset with ground truth and the controllable scattering medium to demonstrate the restoration capability of our method in underwater scenarios. Our code and dataset are available at https://plenodium.github.io/.