EDMB: Edge Detector with Mamba

📄 arXiv: 2501.04846v1 📥 PDF

作者: Yachuan Li, Xavier Soria Poma, Yun Bai, Qian Xiao, Chaozhi Yang, Guanlin Li, Zongmin Li

分类: cs.CV

发布日期: 2025-01-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于Mamba的边缘检测器EDMB，高效生成高质量多粒度边缘。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 边缘检测 Mamba 全局-局部架构 多粒度边缘 深度学习

📋 核心要点

  1. Transformer在边缘检测中表现出色，但计算成本高昂，限制了其应用。
  2. EDMB结合Mamba和全局-局部架构，关注全局信息和细粒度线索，提升边缘检测质量。
  3. EDMB在BSDS500上取得了优异的单粒度和多粒度ODS分数，且可扩展到单标签数据集。

📝 摘要（中文）

本文提出了一种新颖的基于Mamba的边缘检测器，称为EDMB，旨在高效地生成高质量的多粒度边缘。EDMB将Mamba与全局-局部架构相结合，从而能够同时关注全局信息和细粒度线索。细粒度线索在边缘检测中起着至关重要的作用，但通常被普通Mamba忽略。我们设计了一种新颖的解码器，通过融合全局特征和细粒度特征来构建可学习的高斯分布。然后，通过从这些分布中采样来生成多粒度边缘。为了使多粒度边缘适用于单标签数据，我们引入了证据下界损失来监督分布的学习。在多标签数据集BSDS500上，我们提出的EDMB在没有多尺度测试或额外的PASCAL-VOC数据的情况下，实现了具有竞争力的单粒度ODS 0.837和多粒度ODS 0.851。值得注意的是，EDMB可以扩展到单标签数据集，如NYUDv2和BIPED。源代码可在https://github.com/Li-yachuan/EDMB获取。

🔬 方法详解

问题定义：现有基于Transformer的边缘检测模型计算成本高昂，难以高效处理长距离依赖关系。传统的Mamba模型在处理边缘检测任务时，往往忽略了对于边缘检测至关重要的细粒度线索，导致边缘检测精度受限。因此，需要一种既能高效捕捉长距离依赖关系，又能有效利用细粒度信息的边缘检测方法。

核心思路：本文的核心思路是将Mamba架构与全局-局部架构相结合，利用Mamba高效捕捉全局上下文信息的能力，同时通过局部特征提取模块关注细粒度的边缘线索。此外，设计了一种新的解码器，通过融合全局和局部特征来构建可学习的高斯分布，并从这些分布中采样生成多粒度边缘，从而提升边缘检测的精度和鲁棒性。

技术框架：EDMB的整体架构包含三个主要模块：特征提取模块、Mamba模块和解码器模块。首先，特征提取模块提取输入图像的全局和局部特征。然后，Mamba模块利用全局特征捕捉长距离依赖关系。最后，解码器模块融合全局特征和局部特征，构建可学习的高斯分布，并从中采样生成多粒度边缘。

关键创新：EDMB的关键创新在于以下几点：1) 将Mamba架构引入边缘检测领域，实现了高效的全局上下文建模。2) 提出了全局-局部架构，有效融合了全局信息和细粒度线索。3) 设计了一种新的解码器，通过构建可学习的高斯分布来生成多粒度边缘，提高了边缘检测的精度和鲁棒性。与现有方法相比，EDMB能够更高效地捕捉长距离依赖关系，并更有效地利用细粒度信息，从而实现更高的边缘检测精度。

关键设计：在解码器模块中，使用全局特征和局部特征来预测高斯分布的均值和方差。为了使多粒度边缘适用于单标签数据，引入了Evidence Lower Bound (ELBO) 损失函数来监督高斯分布的学习。ELBO损失函数鼓励模型学习能够解释观测数据的最佳分布，从而提高边缘检测的准确性。具体的网络结构细节和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EDMB在BSDS500数据集上取得了显著的成果，单粒度ODS达到0.837，多粒度ODS达到0.851，无需多尺度测试或额外的PASCAL-VOC数据。相较于其他方法，EDMB在效率和精度之间取得了更好的平衡，并且可以扩展到单标签数据集，如NYUDv2和BIPED。

🎯 应用场景

EDMB在图像处理、计算机视觉等领域具有广泛的应用前景。例如，可应用于自动驾驶中的道路边缘检测、医学图像分析中的器官边缘提取、以及遥感图像处理中的地物边缘识别等。该研究成果有助于提高相关应用系统的性能和可靠性，具有重要的实际价值和潜在的社会经济效益。

📄 摘要（原文）

Transformer-based models have made significant progress in edge detection, but their high computational cost is prohibitive. Recently, vision Mamba have shown excellent ability in efficiently capturing long-range dependencies. Drawing inspiration from this, we propose a novel edge detector with Mamba, termed EDMB, to efficiently generate high-quality multi-granularity edges. In EDMB, Mamba is combined with a global-local architecture, therefore it can focus on both global information and fine-grained cues. The fine-grained cues play a crucial role in edge detection, but are usually ignored by ordinary Mamba. We design a novel decoder to construct learnable Gaussian distributions by fusing global features and fine-grained features. And the multi-grained edges are generated by sampling from the distributions. In order to make multi-granularity edges applicable to single-label data, we introduce Evidence Lower Bound loss to supervise the learning of the distributions. On the multi-label dataset BSDS500, our proposed EDMB achieves competitive single-granularity ODS 0.837 and multi-granularity ODS 0.851 without multi-scale test or extra PASCAL-VOC data. Remarkably, EDMB can be extended to single-label datasets such as NYUDv2 and BIPED. The source code is available at https://github.com/Li-yachuan/EDMB.