Salient Object Detection in RGB-D Videos

📄 arXiv: 2310.15482v2 📥 PDF

作者: Ao Mou, Yukang Lu, Jiahao He, Dingyao Min, Keren Fu, Qijun Zhao

分类: cs.CV

发布日期: 2023-10-24 (更新: 2024-05-21)

备注: IEEE TIP (under major revision)

🔗 代码/项目: GITHUB

💡 一句话要点

提出DCTNet+以解决RGB-D视频中的显著目标检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 显著目标检测 RGB-D视频 多模态融合 深度学习 计算机视觉 数据集构建 网络模型 特征提取

📋 核心要点

  1. 现有的RGB-D视频显著目标检测方法多为孤立研究，缺乏有效的多模态融合，导致检测效果不佳。
  2. 本文提出了DCTNet+网络，结合RGB模态与深度、光流辅助模态，通过多模态注意力和精细融合模块提升检测精度。
  3. 实验结果显示，DCTNet+在多个数据集上超越了17个VSOD模型和14个RGB-D SOD模型，验证了其有效性。

📝 摘要（中文）

随着深度感知设备的广泛应用，RGB-D视频及相关数据在日常生活中得到了广泛关注。因此，在RGB-D视频中进行显著目标检测（SOD）成为一个极具前景的研究方向。尽管这一领域潜力巨大，但RGB-D SOD与视频SOD（VSOD）传统上是孤立研究的。本文的主要贡献包括构建RDVS数据集，这是一个具有真实深度和多样场景的新RGB-D VSOD数据集，并引入DCTNet+，一个针对RGB-D VSOD的三流网络，强调RGB模态，同时将深度和光流视为辅助模态。我们提出了多模态注意力模块（MAM）和精细融合模块（RFM），以实现特征的有效增强和融合。实验结果表明，DCTNet+在17个VSOD模型和14个RGB-D SOD模型中表现优越。

🔬 方法详解

问题定义：本文旨在解决RGB-D视频中的显著目标检测问题，现有方法在多模态融合和特征提取方面存在不足，导致检测效果不理想。

核心思路：论文提出DCTNet+网络，强调RGB模态，同时将深度和光流作为辅助模态，以增强特征提取和融合的效果。通过设计多模态注意力模块和精细融合模块，提升最终预测的准确性。

技术框架：DCTNet+采用三流网络架构，主要包括RGB流、深度流和光流流。通过多模态注意力模块（MAM）和精细融合模块（RFM）进行特征的增强和融合，确保不同模态间的有效交互。

关键创新：最重要的创新点在于引入了多模态注意力机制和精细融合模块，显著提升了特征融合的效果，与传统方法相比，能够更好地利用RGB-D信息。

关键设计：网络结构中，MAM用于增强特征的注意力机制，RFM则负责融合不同模态的低级特征。损失函数设计上，考虑了多模态特征的协同作用，确保模型训练的有效性。实验中，使用了RDVS数据集进行训练和测试，验证了模型的优越性。

📊 实验亮点

实验结果表明，DCTNet+在17个VSOD模型和14个RGB-D SOD模型中表现优越，尤其在真实深度引入后，检测精度显著提升，验证了模型设计的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、增强现实和机器人视觉等。通过提高RGB-D视频中的显著目标检测能力，可以在复杂环境中实现更高效的物体识别和跟踪，推动相关技术的实际应用和发展。

📄 摘要（原文）

Given the widespread adoption of depth-sensing acquisition devices, RGB-D videos and related data/media have gained considerable traction in various aspects of daily life. Consequently, conducting salient object detection (SOD) in RGB-D videos presents a highly promising and evolving avenue. Despite the potential of this area, SOD in RGB-D videos remains somewhat under-explored, with RGB-D SOD and video SOD (VSOD) traditionally studied in isolation. To explore this emerging field, this paper makes two primary contributions: the dataset and the model. On one front, we construct the RDVS dataset, a new RGB-D VSOD dataset with realistic depth and characterized by its diversity of scenes and rigorous frame-by-frame annotations. We validate the dataset through comprehensive attribute and object-oriented analyses, and provide training and testing splits. Moreover, we introduce DCTNet+, a three-stream network tailored for RGB-D VSOD, with an emphasis on RGB modality and treats depth and optical flow as auxiliary modalities. In pursuit of effective feature enhancement, refinement, and fusion for precise final prediction, we propose two modules: the multi-modal attention module (MAM) and the refinement fusion module (RFM). To enhance interaction and fusion within RFM, we design a universal interaction module (UIM) and then integrate holistic multi-modal attentive paths (HMAPs) for refining multi-modal low-level features before reaching RFMs. Comprehensive experiments, conducted on pseudo RGB-D video datasets alongside our RDVS, highlight the superiority of DCTNet+ over 17 VSOD models and 14 RGB-D SOD models. Ablation experiments were performed on both pseudo and realistic RGB-D video datasets to demonstrate the advantages of individual modules as well as the necessity of introducing realistic depth. Our code together with RDVS dataset will be available at https://github.com/kerenfu/RDVS/.