Source-Free Domain Adaptation via Multi-view Contrastive Learning

📄 arXiv: 2507.03321v1 📥 PDF

作者: Amirfarhad Farhadi, Naser Mozayani, Azadeh Zamanifar

分类: cs.CV, cs.AI

发布日期: 2025-07-04

💡 一句话要点

提出基于多视角对比学习的无源域自适应方法，提升伪标签质量。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无源域自适应 领域自适应 对比学习 伪标签 数据增强

📋 核心要点

  1. 现有SFUDA方法面临原型样本质量低和伪标签分配不准确的挑战，限制了自适应性能。
  2. 论文提出一种多视角对比学习框架，通过可靠样本记忆和噪声标签过滤来提升伪标签质量。
  3. 实验结果表明，该方法在多个数据集上显著提升了分类精度，优于现有SFUDA方法。

📝 摘要（中文）

由于数据标注成本高昂，领域自适应已成为机器学习中广泛采用的方法。它通常应用于可以访问带标签源域的场景。然而，在实际应用中，隐私问题常常限制对敏感信息的访问，例如指纹、银行账户详细信息和面部图像。无源域无监督领域自适应（SFUDA）为此提供了一个有前景的解决方案，它无需访问带标签的目标域数据即可实现领域自适应。最近的研究表明，SFUDA可以有效地解决领域差异；然而，仍然存在两个关键挑战：（1）原型样本的质量低，以及（2）伪标签的分配不正确。为了应对这些挑战，我们提出了一种包含三个主要阶段的方法。在第一阶段，我们引入了一个可靠样本记忆（RSM）模块，通过选择更具代表性的样本来提高原型质量。在第二阶段，我们采用多视角对比学习（MVCL）方法，通过利用多个数据增强来提高伪标签质量。在最后阶段，我们应用噪声标签过滤技术来进一步细化伪标签。我们在三个基准数据集——VisDA 2017、Office-Home和Office-31上的实验表明，我们的方法在分类精度上分别比第二好的方法和13种知名的最先进方法的平均值提高了约2%和6%。

🔬 方法详解

问题定义：无源域无监督领域自适应（SFUDA）旨在解决在没有源域数据访问权限的情况下，将模型从源域迁移到目标域的问题。现有SFUDA方法在生成高质量原型样本和分配准确伪标签方面存在困难，导致模型在目标域的泛化能力受限。这些痛点源于缺乏源域信息的指导，以及目标域数据本身的噪声和偏差。

核心思路：论文的核心思路是通过多视角对比学习来提升伪标签的质量。具体来说，通过对目标域数据进行多种数据增强，生成不同的“视角”，然后利用对比学习的思想，鼓励模型学习到在不同视角下保持一致的特征表示。同时，引入可靠样本记忆模块来选择更具代表性的样本，并使用噪声标签过滤技术来进一步细化伪标签，从而提高伪标签的准确性。

技术框架：该方法包含三个主要阶段：1) 可靠样本记忆（RSM）：构建一个存储目标域样本特征的记忆库，并从中选择更具代表性的样本作为原型。2) 多视角对比学习（MVCL）：对目标域数据进行多种数据增强，生成多个视角，然后利用对比学习损失，鼓励模型学习到在不同视角下保持一致的特征表示。3) 噪声标签过滤：使用一种噪声标签过滤技术，例如置信度阈值过滤，来移除置信度较低的伪标签。

关键创新：该方法最重要的创新点在于将多视角对比学习引入到SFUDA中，通过利用多个数据增强视角来提高伪标签的质量。与传统的SFUDA方法相比，该方法能够更有效地利用目标域数据的信息，从而提高模型的泛化能力。此外，可靠样本记忆模块和噪声标签过滤技术也进一步提升了伪标签的准确性。

关键设计：在多视角对比学习中，使用了多种数据增强方法，例如随机裁剪、颜色抖动和高斯模糊等。对比学习损失函数采用InfoNCE损失。可靠样本记忆模块使用K近邻算法来选择最相似的样本作为原型。噪声标签过滤使用置信度阈值过滤，将置信度低于阈值的伪标签移除。具体的参数设置（如K近邻的K值，置信度阈值）需要根据具体数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在VisDA 2017、Office-Home和Office-31三个基准数据集上均取得了显著的性能提升。具体来说，该方法在分类精度上分别比第二好的方法和13种知名的最先进方法的平均值提高了约2%和6%。这些结果表明，该方法能够有效地解决SFUDA中的伪标签质量问题，从而提高模型的泛化能力。

🎯 应用场景

该研究成果可应用于各种涉及隐私保护的领域自适应任务，例如医疗影像分析、金融风控、人脸识别等。在这些场景中，由于数据隐私的限制，无法直接访问源域数据，因此SFUDA方法具有重要的应用价值。该方法能够提升模型在目标域的泛化能力，从而提高实际应用的效果。

📄 摘要（原文）

Domain adaptation has become a widely adopted approach in machine learning due to the high costs associated with labeling data. It is typically applied when access to a labeled source domain is available. However, in real-world scenarios, privacy concerns often restrict access to sensitive information, such as fingerprints, bank account details, and facial images. A promising solution to this issue is Source-Free Unsupervised Domain Adaptation (SFUDA), which enables domain adaptation without requiring access to labeled target domain data. Recent research demonstrates that SFUDA can effectively address domain discrepancies; however, two key challenges remain: (1) the low quality of prototype samples, and (2) the incorrect assignment of pseudo-labels. To tackle these challenges, we propose a method consisting of three main phases. In the first phase, we introduce a Reliable Sample Memory (RSM) module to improve the quality of prototypes by selecting more representative samples. In the second phase, we employ a Multi-View Contrastive Learning (MVCL) approach to enhance pseudo-label quality by leveraging multiple data augmentations. In the final phase, we apply a noisy label filtering technique to further refine the pseudo-labels. Our experiments on three benchmark datasets - VisDA 2017, Office-Home, and Office-31 - demonstrate that our method achieves approximately 2 percent and 6 percent improvements in classification accuracy over the second-best method and the average of 13 well-known state-of-the-art approaches, respectively.