A Physical Model-Guided Framework for Underwater Image Enhancement and Depth Estimation

📄 arXiv: 2407.04230v2 📥 PDF

作者: Dazhao Du, Lingyu Si, Fanjiang Xu, Jianwei Niu, Fuchun Sun

分类: cs.CV

发布日期: 2024-07-05 (更新: 2025-08-01)

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出物理模型引导的框架，用于水下图像增强和深度估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 水下图像增强 深度估计 物理模型引导 深度学习 图像恢复

📋 核心要点

  1. 现有水下图像增强方法难以准确估计深度和光晕等成像参数，导致特定场景下效果不佳。
  2. 提出物理模型引导的框架，联合训练深度退化模型（DDM）和任意UIE模型，施加物理约束。
  3. 设计了简单有效的全卷积UIE模型UIEConv，并在多种真实水下场景中验证了框架和模型的有效性。

📝 摘要（中文）

由于水生介质对光线的选择性吸收和散射，水下图像通常会受到各种视觉退化的影响。现有的水下图像增强（UIE）方法将水下物理成像模型与神经网络相结合，但通常无法准确估计成像模型参数，如深度和光晕，导致在某些场景中性能不佳。为了解决这个问题，我们提出了一个物理模型引导的框架，用于联合训练深度退化模型（DDM）与任何先进的UIE模型。DDM包括三个精心设计的子网络，以准确估计各种成像参数：光晕估计子网络、因子估计子网络和深度估计子网络。基于估计的参数和水下物理成像模型，我们通过建模水下图像和期望的清晰图像（即UIE模型的输出）之间的关系，对增强过程施加物理约束。此外，虽然我们的框架与任何UIE模型兼容，但我们设计了一个简单而有效的全卷积UIE模型，称为UIEConv。UIEConv通过双分支结构利用全局和局部特征进行图像增强。在我们的框架内训练的UIEConv在各种水下场景中实现了显著的增强效果。此外，作为UIE的副产品，训练的深度估计子网络能够实现准确的水下场景深度估计。在各种真实水下成像场景（包括具有人工光源的深海环境）中进行的大量实验验证了我们的框架和UIEConv模型的有效性。

🔬 方法详解

问题定义：水下图像由于光线的吸收和散射，存在严重的视觉退化，如颜色失真、对比度低和细节模糊。现有的基于物理模型的图像增强方法依赖于准确的成像模型参数估计，但这些参数的估计通常不准确，导致增强效果不理想。

核心思路：核心思路是利用水下物理成像模型作为先验知识，指导神经网络的学习过程。通过构建深度退化模型（DDM）来准确估计成像模型中的关键参数，并将这些参数用于约束UIE模型的训练，从而提高增强效果。

技术框架：整体框架包括两个主要部分：深度退化模型（DDM）和水下图像增强模型（UIE）。DDM包含三个子网络，分别用于估计光晕、因子和深度。UIE模型可以是任意现有的水下图像增强模型，论文中设计了一个简单的全卷积网络UIEConv。整个框架通过联合训练的方式，利用物理成像模型建立DDM和UIE之间的联系。

关键创新：关键创新在于利用物理模型引导神经网络的学习，将物理成像模型的先验知识融入到深度学习框架中。通过DDM准确估计成像参数，并将其作为约束条件，提高了UIE模型的性能。此外，该框架具有通用性，可以与任何UIE模型结合使用。

关键设计：DDM包含三个子网络：光晕估计子网络、因子估计子网络和深度估计子网络。UIEConv采用双分支结构，分别提取全局和局部特征。损失函数包括重建损失、深度损失和物理约束损失。物理约束损失基于水下物理成像模型，用于约束UIE模型的输出与清晰图像之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架和UIEConv模型在各种真实水下场景中取得了显著的增强效果。与现有方法相比，该方法能够更有效地去除水下图像的颜色失真和模糊，提高图像的对比度和细节清晰度。此外，训练的深度估计子网络能够实现准确的水下场景深度估计。

🎯 应用场景

该研究成果可应用于水下机器人视觉、水下考古、海洋生物研究、水下工程检测等领域。通过提高水下图像的质量，可以帮助水下机器人更好地感知环境，提高水下作业的效率和安全性。此外，该方法还可以用于水下视频监控，提高水下目标的识别和跟踪能力。

📄 摘要（原文）

Due to the selective absorption and scattering of light by diverse aquatic media, underwater images usually suffer from various visual degradations. Existing underwater image enhancement (UIE) approaches that combine underwater physical imaging models with neural networks often fail to accurately estimate imaging model parameters such as depth and veiling light, resulting in poor performance in certain scenarios. To address this issue, we propose a physical model-guided framework for jointly training a Deep Degradation Model (DDM) with any advanced UIE model. DDM includes three well-designed sub-networks to accurately estimate various imaging parameters: a veiling light estimation sub-network, a factors estimation sub-network, and a depth estimation sub-network. Based on the estimated parameters and the underwater physical imaging model, we impose physical constraints on the enhancement process by modeling the relationship between underwater images and desired clean images, i.e., outputs of the UIE model. Moreover, while our framework is compatible with any UIE model, we design a simple yet effective fully convolutional UIE model, termed UIEConv. UIEConv utilizes both global and local features for image enhancement through a dual-branch structure. UIEConv trained within our framework achieves remarkable enhancement results across diverse underwater scenes. Furthermore, as a byproduct of UIE, the trained depth estimation sub-network enables accurate underwater scene depth estimation. Extensive experiments conducted in various real underwater imaging scenarios, including deep-sea environments with artificial light sources, validate the effectiveness of our framework and the UIEConv model.