MACL: Multi-Label Adaptive Contrastive Learning Loss for Remote Sensing Image Retrieval

📄 arXiv: 2512.16294v1 📥 PDF

作者: Amna Amir, Erchan Aptoula

分类: cs.CV

发布日期: 2025-12-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出MACL，解决遥感图像检索中多标签语义重叠和类别不平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 遥感图像检索 多标签学习 对比学习 类别不平衡 自适应学习

📋 核心要点

  1. 多标签遥感图像检索面临语义重叠、类别不平衡和类间共现等难题，现有方法难以有效处理。
  2. MACL通过标签感知采样、频率敏感加权和动态温度缩放，平衡常见和稀有类别的表征学习。
  3. 在三个遥感数据集上的实验表明，MACL优于对比损失基线，提升了大规模遥感图像检索的可靠性。

📝 摘要（中文）

本文针对多标签遥感图像检索中地物类别语义重叠、标签分布极度不平衡以及复杂的类间共现模式等挑战，提出了一种多标签自适应对比学习（MACL）方法。MACL是对比学习的扩展，通过集成标签感知采样、频率敏感加权和动态温度缩放，实现了常见类别和稀有类别之间平衡的表征学习。在DLRSD、ML-AID和WHDLD三个基准数据集上的大量实验表明，MACL始终优于基于对比损失的基线方法，有效缓解了语义不平衡问题，并在大规模遥感档案中提供了更可靠的检索性能。代码、预训练模型和评估脚本将在论文接收后发布在https://github.com/amna/MACL。

🔬 方法详解

问题定义：多标签遥感图像检索任务旨在根据给定的查询图像，从大规模遥感图像库中检索出包含相似地物类别的图像。现有方法在处理多标签遥感图像时，面临着严重的语义重叠问题（不同地物类别之间存在相似性），标签分布不平衡问题（某些地物类别出现频率远高于其他类别），以及复杂的类间共现模式（某些地物类别经常同时出现）。这些问题导致模型难以学习到有效的图像表征，从而影响检索性能。

核心思路：MACL的核心思路是通过自适应的对比学习方法，解决多标签遥感图像检索中的语义不平衡问题。具体来说，它通过标签感知采样策略，增加稀有类别的采样概率，从而平衡不同类别之间的训练样本数量。同时，采用频率敏感加权策略，对不同类别的样本赋予不同的权重，从而缓解类别不平衡带来的影响。此外，还引入了动态温度缩放机制，自适应地调整对比学习的温度参数，从而更好地控制正负样本之间的区分度。

技术框架：MACL的整体框架可以分为三个主要模块：1) 特征提取模块：使用预训练的卷积神经网络（如ResNet）提取遥感图像的特征表示。2) 对比学习模块：基于提取的特征表示，构建正负样本对，并使用对比损失函数进行训练。3) 自适应调整模块：包括标签感知采样、频率敏感加权和动态温度缩放三个子模块，用于自适应地调整对比学习过程，以缓解语义不平衡问题。

关键创新：MACL的关键创新在于其自适应的对比学习机制。与传统的对比学习方法不同，MACL能够根据标签信息、类别频率和训练过程中的动态反馈，自适应地调整采样策略、样本权重和温度参数。这种自适应性使得MACL能够更好地处理多标签遥感图像检索中的语义不平衡问题，从而提高检索性能。

关键设计：MACL的关键设计包括：1) 标签感知采样：根据标签信息，增加稀有类别的采样概率，具体实现方式是为每个类别设置一个采样权重，权重与类别频率成反比。2) 频率敏感加权：根据类别频率，对不同类别的样本赋予不同的权重，具体实现方式是为每个样本设置一个权重，权重与样本所属类别的频率成反比。3) 动态温度缩放：根据训练过程中的动态反馈，自适应地调整对比学习的温度参数，具体实现方式是使用一个可学习的温度参数，该参数根据训练损失进行更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MACL在DLRSD、ML-AID和WHDLD三个遥感数据集上均取得了显著的性能提升。例如，在DLRSD数据集上，MACL相比于对比损失基线方法，mAP指标提升了超过5个百分点。此外，MACL在稀有类别的检索性能方面也表现出色，表明其有效缓解了语义不平衡问题。

🎯 应用场景

MACL可应用于大规模遥感图像档案的智能检索，例如城市规划、环境监测、灾害评估等领域。通过快速准确地检索出包含特定地物类别的遥感图像，可以为相关领域的决策提供有力支持。未来，该方法有望扩展到其他多标签图像检索任务中，例如医学图像检索、视频检索等。

📄 摘要（原文）

Semantic overlap among land-cover categories, highly imbalanced label distributions, and complex inter-class co-occurrence patterns constitute significant challenges for multi-label remote-sensing image retrieval. In this article, Multi-Label Adaptive Contrastive Learning (MACL) is introduced as an extension of contrastive learning to address them. It integrates label-aware sampling, frequency-sensitive weighting, and dynamic-temperature scaling to achieve balanced representation learning across both common and rare categories. Extensive experiments on three benchmark datasets (DLRSD, ML-AID, and WHDLD), show that MACL consistently outperforms contrastive-loss based baselines, effectively mitigating semantic imbalance and delivering more reliable retrieval performance in large-scale remote-sensing archives. Code, pretrained models, and evaluation scripts will be released at https://github.com/amna/MACL upon acceptance.