RCNet: Deep Recurrent Collaborative Network for Multi-View Low-Light Image Enhancement
作者: Hao Luo, Baoliang Chen, Lingyu Zhu, Peilin Chen, Shiqi Wang
分类: cs.CV
发布日期: 2024-09-06 (更新: 2025-04-05)
备注: Accepted by IEEE Transactions on Multimedia (TMM)
🔗 代码/项目: GITHUB
💡 一句话要点
提出RCNet：一种用于多视角低光图像增强的深度循环协同网络
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 多视角图像增强 低光图像处理 循环神经网络 特征对齐 特征融合
📋 核心要点
- 现有单图低光增强方法忽略了多视角图像间的特征关联，导致增强效果在不同视角下不一致。
- 提出循环协同网络RCNet，通过循环特征增强、对齐和融合模块，建模视角内和视角间特征传播。
- 构建了包含1860对三元图像的多视角低光数据集MVLT，实验表明RCNet显著优于现有方法。
📝 摘要（中文）
从多个视角观察场景可以带来更全面的视觉体验。然而，在黑暗环境中获取多视角图像时，高度相关的视角会严重失真，使得利用辅助视角来改善场景理解变得具有挑战性。现有的基于单张图像的增强方法由于忽略了不同视角之间潜在的特征对应关系，可能无法为所有视角提供一致的理想恢复性能。为了缓解这个问题，我们首次尝试研究多视角低光图像增强。首先，我们构建了一个名为多视角低光三元组（MVLT）的新数据集，包括1860对具有大范围光照和广泛噪声分布的三元图像。每个三元组都配备了三个不同的视角，指向同一场景。其次，我们提出了一种基于循环协同网络（RCNet）的深度多视角增强框架。具体来说，为了从不同视角之间的相似纹理对应关系中获益，我们设计了循环特征增强、对齐和融合（ReEAF）模块，其中执行视角内特征增强（Intra-view EN），然后进行视角间特征对齐和融合（Inter-view AF），以通过多视角协作顺序地建模视角内和视角间特征传播。此外，还开发了从增强到对齐（E2A）和从对齐到增强（A2E）两个不同的模块，以实现视角内EN和视角间AF之间的交互，从而分别显式地利用注意力特征加权和采样进行增强和对齐。实验结果表明，我们的RCNet明显优于其他最先进的方法。我们所有的数据集、代码和模型都将在https://github.com/hluo29/RCNet上提供。
🔬 方法详解
问题定义：论文旨在解决多视角低光图像增强问题。现有单张图像增强方法无法有效利用多视角图像之间的相关性，导致增强效果在不同视角下表现不一致，影响场景理解。此外，缺乏专门用于多视角低光图像增强的数据集也限制了相关研究的开展。
核心思路：论文的核心思路是利用多视角图像之间的互补信息，通过循环协同的方式进行特征增强、对齐和融合。通过显式地建模视角内和视角间特征的传播，可以更好地利用不同视角之间的相似性和差异性，从而提高低光图像的增强效果。
技术框架：RCNet的整体架构包含以下主要模块：1) 循环特征增强、对齐和融合（ReEAF）模块：该模块是RCNet的核心，通过循环的方式进行视角内特征增强（Intra-view EN）和视角间特征对齐和融合（Inter-view AF）。2) 从增强到对齐（E2A）模块：该模块利用增强后的特征来指导视角间的特征对齐。3) 从对齐到增强（A2E）模块：该模块利用对齐后的特征来进一步提升视角内的特征增强效果。整个网络通过端到端的方式进行训练。
关键创新：论文的关键创新在于提出了循环协同网络（RCNet），该网络能够有效地利用多视角图像之间的互补信息进行低光图像增强。ReEAF模块通过循环的方式进行特征增强、对齐和融合，能够更好地建模视角内和视角间特征的传播。E2A和A2E模块实现了增强和对齐之间的交互，进一步提升了增强效果。此外，论文还构建了一个新的多视角低光数据集MVLT，为相关研究提供了数据支持。
关键设计：ReEAF模块中，视角内特征增强（Intra-view EN）采用卷积神经网络进行特征提取和增强。视角间特征对齐和融合（Inter-view AF）采用可变形卷积网络进行特征对齐，然后通过注意力机制进行特征融合。E2A和A2E模块分别采用注意力机制和采样策略，实现增强和对齐之间的信息交互。损失函数包括L1损失和感知损失，用于约束增强图像的质量和感知效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RCNet在多视角低光图像增强任务上显著优于其他最先进的方法。具体来说，RCNet在PSNR和SSIM等指标上均取得了明显的提升，并且在视觉效果上也更加自然和清晰。此外，消融实验验证了ReEAF模块、E2A模块和A2E模块的有效性。
🎯 应用场景
该研究成果可应用于安防监控、自动驾驶、机器人视觉等领域。在这些场景中，多视角低光图像的增强对于提高目标检测、识别和跟踪的准确性至关重要。此外，该方法还可以应用于医学图像处理、遥感图像分析等领域，具有广泛的应用前景。
📄 摘要（原文）
Scene observation from multiple perspectives would bring a more comprehensive visual experience. However, in the context of acquiring multiple views in the dark, the highly correlated views are seriously alienated, making it challenging to improve scene understanding with auxiliary views. Recent single image-based enhancement methods may not be able to provide consistently desirable restoration performance for all views due to the ignorance of potential feature correspondence among different views. To alleviate this issue, we make the first attempt to investigate multi-view low-light image enhancement. First, we construct a new dataset called Multi-View Low-light Triplets (MVLT), including 1,860 pairs of triple images with large illumination ranges and wide noise distribution. Each triplet is equipped with three different viewpoints towards the same scene. Second, we propose a deep multi-view enhancement framework based on the Recurrent Collaborative Network (RCNet). Specifically, in order to benefit from similar texture correspondence across different views, we design the recurrent feature enhancement, alignment and fusion (ReEAF) module, in which intra-view feature enhancement (Intra-view EN) followed by inter-view feature alignment and fusion (Inter-view AF) is performed to model the intra-view and inter-view feature propagation sequentially via multi-view collaboration. In addition, two different modules from enhancement to alignment (E2A) and from alignment to enhancement (A2E) are developed to enable the interactions between Intra-view EN and Inter-view AF, which explicitly utilize attentive feature weighting and sampling for enhancement and alignment, respectively. Experimental results demonstrate that our RCNet significantly outperforms other state-of-the-art methods. All of our dataset, code, and model will be available at https://github.com/hluo29/RCNet.