Diffusion-Driven Progressive Target Manipulation for Source-Free Domain Adaptation
作者: Yuyang Huang, Yabo Chen, Junyu Zhou, Wenrui Dai, Xiaopeng Zhang, Junni Zou, Hongkai Xiong, Qi Tian
分类: cs.CV
发布日期: 2025-10-29
备注: Accepted by NeurIPS 2025
💡 一句话要点
提出扩散驱动的渐进式目标域操控方法，解决无源域自适应问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 无源域自适应 领域自适应 扩散模型 伪标签 目标域操控
📋 核心要点
- 现有无源域自适应方法在处理源域和目标域差异大时，伪标签质量差或生成伪数据引入更大差异。
- 提出扩散驱动的渐进式目标域操控方法，利用扩散模型生成并逐步优化伪目标域，缩小域差异。
- 实验表明，该方法在多个数据集上显著优于现有方法，尤其在域差异大的场景下性能提升显著。
📝 摘要（中文）
无源域自适应(SFDA)是一项具有挑战性的任务，它仅使用预训练的源模型和无标签的目标数据来解决域偏移问题。现有的SFDA方法受到源域和目标域差异的根本限制。非生成式SFDA方法在具有较大域差异的挑战性场景中，会受到不可靠的伪标签的影响；而生成式SFDA方法由于在创建伪源数据时扩大了域差异而明显退化。为了解决这个限制，我们提出了一种新的基于生成的框架，名为扩散驱动的渐进式目标域操控(DPTM)，该框架利用无标签的目标数据作为参考，以可靠地生成和逐步细化用于SFDA的伪目标域。具体来说，我们根据伪标签的可靠性将目标样本分为信任集和非信任集，以充分且可靠地利用它们的信息。对于来自非信任集的样本，我们开发了一种操控策略，以语义方式将它们转换为新分配的类别，同时通过潜在扩散模型将它们保持在目标分布中。此外，我们设计了一种渐进式细化机制，通过迭代细化逐步减少伪目标域和真实目标域之间的域差异。实验结果表明，DPTM优于现有方法，并在具有不同规模的四个主流SFDA基准数据集上实现了最先进的性能。值得注意的是，DPTM可以在源域和目标域差距较大的情况下，显著提高性能高达18.6%。
🔬 方法详解
问题定义：无源域自适应(SFDA)旨在利用预训练的源域模型和无标签目标域数据，解决源域和目标域之间的分布差异。现有方法，特别是生成式方法，在生成伪源域数据时，容易引入更大的域差异，导致性能下降。非生成式方法则依赖伪标签，在大域差异下，伪标签的质量难以保证。
核心思路：本文的核心思路是利用扩散模型，以目标域数据为参考，生成并逐步优化伪目标域数据。通过将不可靠的目标域样本进行语义转换，并保持其在目标域的分布，从而缩小源域和目标域之间的差异。渐进式细化机制进一步迭代优化伪目标域，使其更接近真实目标域。
技术框架：DPTM框架主要包含以下几个模块：1) 目标样本分类：根据伪标签的置信度将目标样本分为信任集和非信任集。2) 扩散模型：利用潜在扩散模型，将非信任集样本进行语义转换，并保持其在目标域的分布。3) 渐进式细化：通过迭代优化，逐步缩小伪目标域和真实目标域之间的差异。4) 模型训练：利用生成的伪目标域数据和信任集数据，训练目标域模型。
关键创新：该方法最重要的创新点在于利用扩散模型进行目标域操控，能够在语义转换的同时保持目标域的分布，避免了传统生成方法引入更大域差异的问题。此外，渐进式细化机制能够逐步优化伪目标域，使其更接近真实目标域，从而提高模型的泛化能力。
关键设计：1) 信任集和非信任集的划分阈值需要根据具体数据集进行调整。2) 扩散模型的训练需要保证生成样本的多样性和真实性。3) 渐进式细化的迭代次数和学习率需要仔细调整，以避免过拟合或欠拟合。
🖼️ 关键图片
📊 实验亮点
DPTM在四个主流SFDA基准数据集上取得了state-of-the-art的性能。尤其是在源域和目标域差距较大的场景下，DPTM的性能提升显著，最高可达18.6%。实验结果表明，DPTM能够有效解决现有方法在处理大域差异时遇到的问题，具有很强的实用价值。
🎯 应用场景
该研究成果可应用于各种无源域自适应场景，例如图像分类、目标检测和语义分割等。在医疗影像分析、自动驾驶和机器人等领域，由于数据获取成本高昂或存在隐私问题，无源域自适应技术具有重要的应用价值。该方法能够有效提升模型在目标域的泛化能力，降低对标注数据的依赖，从而降低应用成本。
📄 摘要（原文）
Source-free domain adaptation (SFDA) is a challenging task that tackles domain shifts using only a pre-trained source model and unlabeled target data. Existing SFDA methods are restricted by the fundamental limitation of source-target domain discrepancy. Non-generation SFDA methods suffer from unreliable pseudo-labels in challenging scenarios with large domain discrepancies, while generation-based SFDA methods are evidently degraded due to enlarged domain discrepancies in creating pseudo-source data. To address this limitation, we propose a novel generation-based framework named Diffusion-Driven Progressive Target Manipulation (DPTM) that leverages unlabeled target data as references to reliably generate and progressively refine a pseudo-target domain for SFDA. Specifically, we divide the target samples into a trust set and a non-trust set based on the reliability of pseudo-labels to sufficiently and reliably exploit their information. For samples from the non-trust set, we develop a manipulation strategy to semantically transform them into the newly assigned categories, while simultaneously maintaining them in the target distribution via a latent diffusion model. Furthermore, we design a progressive refinement mechanism that progressively reduces the domain discrepancy between the pseudo-target domain and the real target domain via iterative refinement. Experimental results demonstrate that DPTM outperforms existing methods by a large margin and achieves state-of-the-art performance on four prevailing SFDA benchmark datasets with different scales. Remarkably, DPTM can significantly enhance the performance by up to 18.6% in scenarios with large source-target gaps.