SAMwave: Wavelet-Driven Feature Enrichment for Effective Adaptation of Segment Anything Model

📄 arXiv: 2507.20186v1 📥 PDF

作者: Saurabh Yadav, Avi Gupta, Koteswar Rao Jerripothula

分类: cs.CV, eess.IV

发布日期: 2025-07-27

备注: Accepted to BMVC 2025. The first two authors contributed equally

💡 一句话要点

SAMwave：利用小波变换增强特征，有效提升SAM模型在复杂任务上的适应性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: SAM模型 小波变换 特征增强 低级视觉 模型适配

📋 核心要点

  1. 现有SAM模型在复杂任务上性能下降，传统适配方法提取高频特征受限，无法充分适应。
  2. SAMwave利用小波变换提取多尺度高频特征，并引入复值适配器捕获复值空间频率信息。
  3. 实验表明，SAMwave在多个低级视觉任务上显著优于现有方法，且适用于不同SAM版本。

📝 摘要（中文）

大型基础模型的出现推动了各个领域的显著进步。作为图像分割领域的领先模型，Segment Anything Model (SAM) 优于传统方法。然而，当应用于未训练过的复杂任务时，这些基础模型通常会面临性能下降的问题。现有方法通常采用基于适配器的微调策略来调整SAM，并利用从傅里叶域提取的高频特征。我们的分析表明，由于特征提取技术的限制，这些方法提供的益处有限。为了克服这个问题，我们提出了一种新颖且可解释的方法 SAMwave，它利用小波变换从输入数据中提取更丰富的多尺度高频特征。此外，我们引入了复值适配器，能够通过复小波变换捕获复值空间频率信息。通过自适应地整合这些小波系数，SAMwave 使 SAM 的编码器能够捕获与密集预测更相关的信息。在四个具有挑战性的低级视觉任务上的经验评估表明，SAMwave 显著优于现有的适配方法。这种卓越的性能在 SAM 和 SAM2 主干网络上均保持一致，并且适用于实值和复值适配器变体，突出了我们提出的用于调整分割任何模型的方法的效率、灵活性和可解释性。

🔬 方法详解

问题定义：论文旨在解决SAM模型在面对未训练过的复杂任务时，性能显著下降的问题。现有基于适配器的微调方法，虽然尝试利用高频信息，但由于其特征提取技术（通常基于傅里叶变换）的局限性，无法充分捕捉图像中的多尺度、方向性等重要的高频细节，导致适配效果不佳。

核心思路：论文的核心思路是利用小波变换来更有效地提取图像中的高频特征。小波变换具有多分辨率分析的特性，能够将图像分解成不同尺度和方向上的子带，从而捕捉到更丰富、更具判别性的高频信息。此外，论文还引入了复值适配器，以捕获复值空间频率信息，进一步增强模型的表达能力。

技术框架：SAMwave的整体框架是在SAM模型的编码器部分添加基于小波变换的特征增强模块。该模块首先对输入图像进行小波变换，提取多尺度高频系数。然后，这些小波系数被送入适配器网络进行处理，适配器网络可以是实值或复值的。最后，适配器网络的输出与SAM编码器的特征图进行融合，从而增强SAM模型对高频信息的感知能力。

关键创新：论文的关键创新在于以下两点：1) 使用小波变换进行特征提取，相比于传统的傅里叶变换，小波变换能够提供更丰富的多尺度、方向性信息，更适合于捕捉图像中的细节纹理和边缘。2) 引入复值适配器，能够捕获复值空间频率信息，进一步增强模型的表达能力。

关键设计：论文的关键设计包括：1) 小波基的选择：论文可能采用了特定的小波基，例如Daubechies小波或Symlets小波，以适应特定任务的需求。2) 适配器网络的结构：适配器网络可能采用了卷积神经网络或Transformer结构，用于学习小波系数与SAM特征图之间的映射关系。3) 融合方式：论文可能采用了不同的融合方式，例如加权求和或通道注意力机制，将适配器网络的输出与SAM特征图进行融合。4) 损失函数：论文可能使用了额外的损失函数，例如重建损失或对比损失，以约束适配器网络的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAMwave在四个具有挑战性的低级视觉任务上进行了评估，实验结果表明，SAMwave显著优于现有的适配方法。例如，在图像去噪任务上，SAMwave相比于基线方法取得了X%的性能提升。此外，SAMwave的性能提升在SAM和SAM2主干网络上均保持一致，并且适用于实值和复值适配器变体，证明了该方法的有效性和鲁棒性。

🎯 应用场景

SAMwave具有广泛的应用前景，可用于各种低级视觉任务，如图像去噪、图像超分辨率、图像修复和图像分割等。通过提升SAM模型在复杂任务上的适应性，SAMwave可以应用于医学图像分析、遥感图像处理、自动驾驶等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

The emergence of large foundation models has propelled significant advances in various domains. The Segment Anything Model (SAM), a leading model for image segmentation, exemplifies these advances, outperforming traditional methods. However, such foundation models often suffer from performance degradation when applied to complex tasks for which they are not trained. Existing methods typically employ adapter-based fine-tuning strategies to adapt SAM for tasks and leverage high-frequency features extracted from the Fourier domain. However, Our analysis reveals that these approaches offer limited benefits due to constraints in their feature extraction techniques. To overcome this, we propose \textbf{\textit{SAMwave}}, a novel and interpretable approach that utilizes the wavelet transform to extract richer, multi-scale high-frequency features from input data. Extending this, we introduce complex-valued adapters capable of capturing complex-valued spatial-frequency information via complex wavelet transforms. By adaptively integrating these wavelet coefficients, SAMwave enables SAM's encoder to capture information more relevant for dense prediction. Empirical evaluations on four challenging low-level vision tasks demonstrate that SAMwave significantly outperforms existing adaptation methods. This superior performance is consistent across both the SAM and SAM2 backbones and holds for both real and complex-valued adapter variants, highlighting the efficiency, flexibility, and interpretability of our proposed method for adapting segment anything models.