DAM: Dual Active Learning with Multimodal Foundation Model for Source-Free Domain Adaptation

📄 arXiv: 2509.24896v1 📥 PDF

作者: Xi Chen, Hongxun Yao, Zhaopan Xu, Kui Jiang

分类: cs.CV

发布日期: 2025-09-29

备注: 5 pages

💡 一句话要点

提出DAM，利用多模态基础模型进行无源域自适应的双重主动学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无源域自适应 主动学习 多模态学习 视觉-语言模型 知识蒸馏

📋 核心要点

  1. 现有无源域主动域自适应方法未能有效融合视觉-语言模型和数据监督，导致知识迁移效率受限。
  2. DAM框架通过整合ViL模型的多模态监督和人工标注，形成双重监督信号，提升目标域模型的学习效果。
  3. 实验结果表明，DAM在多个SFADA基准测试中显著优于现有方法，实现了性能的显著提升。

📝 摘要（中文）

无源域主动域自适应(SFADA)旨在利用主动学习选择的少量人工标注，增强知识从源模型到无标签目标域的迁移。现有研究虽引入视觉-语言(ViL)模型以提升伪标签质量或特征对齐，但常将ViL和数据监督视为独立来源，缺乏有效融合。为克服此限制，我们提出基于多模态(DAM)基础模型的双重主动学习，该框架整合ViL模型的多模态监督，以补充稀疏的人工标注，从而形成双重监督信号。DAM初始化稳定的ViL引导目标，并采用双向蒸馏机制，在迭代适应过程中促进目标模型与双重监督之间的知识互换。大量实验表明，DAM始终优于现有方法，并在多个SFADA基准和主动学习策略上实现了新的state-of-the-art。

🔬 方法详解

问题定义：论文旨在解决无源域主动域自适应（SFADA）问题，即在没有源域数据的情况下，如何利用少量人工标注，将知识从预训练的源模型迁移到无标签的目标域。现有方法通常将视觉-语言（ViL）模型提供的多模态信息和人工标注的数据监督视为独立的来源，缺乏有效的融合机制，导致目标域模型的性能提升有限。

核心思路：论文的核心思路是利用ViL模型提供的多模态信息来辅助人工标注，形成双重监督信号，从而更有效地指导目标域模型的学习。通过这种方式，可以克服人工标注数据稀疏的问题，并充分利用ViL模型的知识，提高目标域模型的泛化能力。

技术框架：DAM框架包含以下主要模块：1) ViL引导的目标初始化：利用ViL模型为目标域数据生成初始的伪标签，作为一种监督信号。2) 双重监督：结合ViL模型提供的伪标签和人工标注的标签，形成双重监督信号。3) 双向蒸馏：通过双向蒸馏机制，促进目标模型与ViL模型以及人工标注数据之间的知识互换。目标模型学习ViL模型的知识，同时ViL模型也学习目标模型的知识，从而实现相互提升。

关键创新：论文的关键创新在于提出了双重监督机制，即将ViL模型提供的多模态信息和人工标注的数据监督相结合，形成更强的监督信号。此外，双向蒸馏机制也促进了目标模型和ViL模型之间的知识互换，进一步提升了模型的性能。与现有方法相比，DAM能够更有效地利用ViL模型和人工标注数据，从而实现更好的域自适应效果。

关键设计：在ViL引导的目标初始化阶段，论文采用了一种置信度加权的策略，选择置信度高的伪标签作为初始目标。在双向蒸馏阶段，论文使用了KL散度损失函数来衡量目标模型和ViL模型之间的知识差异，并采用梯度反转层来对齐特征分布。此外，论文还设计了一种自适应的权重调整机制，根据目标模型的性能动态调整ViL模型和人工标注数据的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAM在多个SFADA基准测试中显著优于现有方法，例如在Office-Home数据集上，DAM的平均准确率比现有最佳方法提高了5%以上。此外，DAM在不同的主动学习策略下均表现出良好的性能，证明了其鲁棒性和泛化能力。这些结果表明，DAM是一种有效的无源域主动域自适应方法。

🎯 应用场景

该研究成果可应用于各种需要跨领域知识迁移的场景，例如自动驾驶、医疗诊断、图像识别等。在这些场景中，通常存在标注数据稀缺的问题，而DAM可以通过利用多模态信息和少量人工标注，有效地解决这个问题，降低标注成本，提高模型性能，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Source-free active domain adaptation (SFADA) enhances knowledge transfer from a source model to an unlabeled target domain using limited manual labels selected via active learning. While recent domain adaptation studies have introduced Vision-and-Language (ViL) models to improve pseudo-label quality or feature alignment, they often treat ViL-based and data supervision as separate sources, lacking effective fusion. To overcome this limitation, we propose Dual Active learning with Multimodal (DAM) foundation model, a novel framework that integrates multimodal supervision from a ViL model to complement sparse human annotations, thereby forming a dual supervisory signal. DAM initializes stable ViL-guided targets and employs a bidirectional distillation mechanism to foster mutual knowledge exchange between the target model and the dual supervisions during iterative adaptation. Extensive experiments demonstrate that DAM consistently outperforms existing methods and sets a new state-of-the-art across multiple SFADA benchmarks and active learning strategies.