SSNet: Saliency Prior and State Space Model-based Network for Salient Object Detection in RGB-D Images

📄 arXiv: 2503.02270v1 📥 PDF

作者: Gargi Panda, Soumitra Kundu, Saumik Bhattacharya, Aurobinda Routray

分类: cs.CV

发布日期: 2025-03-04

💡 一句话要点

提出基于显著性先验和状态空间模型的SSNet，用于RGB-D图像的显著性目标检测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: RGB-D显著性目标检测 状态空间模型 显著性先验 跨模态融合 全局依赖建模

📋 核心要点

  1. 现有RGB-D显著性目标检测方法难以捕捉跨模态全局依赖，且对低质量深度图处理能力不足。
  2. SSNet通过SSM建模模态内和模态间全局依赖，并结合显著性先验增强特征表示，提升检测精度。
  3. 实验结果表明，SSNet在多个基准数据集上超越了现有SOTA方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种基于显著性先验和状态空间模型(SSM)的SSNet网络，用于RGB-D图像中的显著性目标检测(SOD)任务。现有的方法难以捕捉跨模态的全局依赖关系，缺乏来自RGB和深度数据的全面显著性先验，并且在处理低质量深度图时效果不佳。为了解决这些挑战，SSNet引入了一个基于SSM的多模态多尺度解码器模块，以线性复杂度有效地捕捉模态内和模态间的全局依赖关系。具体来说，提出了一种跨模态选择性扫描SSM (CM-S6)机制，有效地捕捉不同模态之间的全局依赖关系。此外，引入了一个显著性增强模块(SEM)，该模块将三个显著性先验与深度特征相结合，以细化特征表示并提高显著性目标的定位。为了进一步解决低质量深度图的问题，提出了一种自适应对比度增强技术，动态地细化深度图，使其更适合RGB-D SOD任务。在七个基准数据集上的大量定量和定性实验表明，SSNet优于最先进的方法。

🔬 方法详解

问题定义：RGB-D图像显著性目标检测旨在识别图像中最吸引人或最重要的区域。现有方法通常基于卷积或Transformer，但在捕捉跨模态全局依赖关系、利用显著性先验以及处理低质量深度图方面存在局限性，导致检测精度受限。

核心思路：SSNet的核心思路是利用状态空间模型（SSM）高效建模全局依赖关系，并结合显著性先验知识来增强特征表示。通过跨模态选择性扫描SSM (CM-S6) 机制，能够有效捕捉不同模态之间的长程依赖。同时，利用显著性增强模块(SEM)融合多种显著性先验，提升显著性目标的定位精度。

技术框架：SSNet主要包含三个核心模块：多模态多尺度解码器模块、跨模态选择性扫描SSM (CM-S6) 机制和显著性增强模块(SEM)。首先，多模态多尺度解码器模块用于提取RGB和深度图像的多尺度特征。然后，CM-S6机制在解码器中用于捕捉跨模态的全局依赖关系。最后，SEM模块将显著性先验与深度特征融合，进一步提升特征表示和显著性目标定位。此外，还包含一个自适应对比度增强模块，用于预处理低质量深度图。

关键创新：SSNet的关键创新在于：1) 引入了基于SSM的跨模态全局依赖建模方法，相比于卷积和Transformer，具有线性复杂度，更高效。2) 提出了跨模态选择性扫描SSM (CM-S6) 机制，能够有效捕捉不同模态之间的长程依赖关系。3) 设计了显著性增强模块(SEM)，将多种显著性先验知识融入到特征表示中，提升了显著性目标定位的准确性。

关键设计：CM-S6机制的具体实现细节未知，但其核心思想是选择性地扫描不同模态的特征，从而捕捉它们之间的依赖关系。显著性增强模块(SEM)集成了三种显著性先验，具体选择哪三种先验以及如何融合，论文中可能有所描述。自适应对比度增强技术也需要根据深度图的质量动态调整参数，具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SSNet在七个基准数据集上进行了广泛的实验，结果表明其性能优于现有的SOTA方法。具体的性能提升幅度未知，但摘要中明确指出SSNet在多个数据集上取得了最佳结果，验证了其有效性。

🎯 应用场景

RGB-D显著性目标检测在场景理解、机器人技术和增强现实等领域具有广泛的应用前景。例如，机器人可以利用显著性检测来识别和抓取物体；增强现实应用可以利用显著性检测来增强用户感兴趣的区域。该研究的成果可以提升这些应用的性能和用户体验，并为未来的研究提供新的思路。

📄 摘要（原文）

Salient object detection (SOD) in RGB-D images is an essential task in computer vision, enabling applications in scene understanding, robotics, and augmented reality. However, existing methods struggle to capture global dependency across modalities, lack comprehensive saliency priors from both RGB and depth data, and are ineffective in handling low-quality depth maps. To address these challenges, we propose SSNet, a saliency-prior and state space model (SSM)-based network for the RGB-D SOD task. Unlike existing convolution- or transformer-based approaches, SSNet introduces an SSM-based multi-modal multi-scale decoder module to efficiently capture both intra- and inter-modal global dependency with linear complexity. Specifically, we propose a cross-modal selective scan SSM (CM-S6) mechanism, which effectively captures global dependency between different modalities. Furthermore, we introduce a saliency enhancement module (SEM) that integrates three saliency priors with deep features to refine feature representation and improve the localization of salient objects. To further address the issue of low-quality depth maps, we propose an adaptive contrast enhancement technique that dynamically refines depth maps, making them more suitable for the RGB-D SOD task. Extensive quantitative and qualitative experiments on seven benchmark datasets demonstrate that SSNet outperforms state-of-the-art methods.