Text-Driven Causal Representation Learning for Source-Free Domain Generalization

📄 arXiv: 2507.09961v1 📥 PDF

作者: Lihua Zhou, Mao Ye, Nianxin Li, Shuaifeng Li, Jinlin Wu, Xiatian Zhu, Lei Deng, Hongbin Liu, Jiebo Luo, Zhen Lei

分类: cs.LG

发布日期: 2025-07-14

备注: Under Review

💡 一句话要点

提出TDCRL，通过文本驱动的因果表示学习解决无源域泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无源域泛化 因果表示学习 文本驱动 领域不变特征 视觉-语言模型

📋 核心要点

  1. 现有无源域泛化方法难以处理领域特定混淆因素，限制了模型的泛化能力。
  2. TDCRL通过文本驱动的方式，结合因果推断，学习领域不变的鲁棒特征表示。
  3. 在多个数据集上的实验结果表明，TDCRL达到了最先进的性能，验证了其有效性。

📝 摘要（中文）

深度学习在训练和测试数据分布存在差异时表现不佳。传统的域泛化(DG)通过包含来自多个源域的数据来解决这个问题，但由于数据收集和标注成本高昂，这并不实用。最近的视觉-语言模型(如CLIP)通过使用文本提示来模拟视觉表示，从而实现无源域泛化(SFDG)，减少了数据需求。然而，现有的SFDG方法难以处理特定领域的混淆因素，限制了其泛化能力。为了解决这个问题，我们提出了TDCRL(文本驱动的因果表示学习)，这是第一个将因果推断集成到SFDG设置中的方法。TDCRL分两步操作：首先，它采用数据增强来生成风格词向量，并将它们与类别信息结合起来，生成文本嵌入来模拟视觉表示；其次，它训练一个带有混淆因子字典的因果干预网络，以提取领域不变特征。基于因果学习，我们的方法提供了一种清晰有效的机制来实现鲁棒的领域不变特征，确保鲁棒的泛化。在PACS、VLCS、OfficeHome和DomainNet上的大量实验表明，TDCRL具有最先进的性能，证明了TDCRL在SFDG中的有效性。

🔬 方法详解

问题定义：论文旨在解决无源域泛化(SFDG)问题，即在没有任何源域数据的情况下，仅利用预训练的视觉-语言模型和文本提示，使模型在未见过的目标域上表现良好。现有SFDG方法的痛点在于难以消除领域特定混淆因素的影响，导致泛化能力受限。

核心思路：论文的核心思路是利用因果推断来解耦领域相关和领域无关的特征。通过文本驱动的方式模拟视觉表示，并构建因果干预网络，显式地干预混淆因素，从而学习到更鲁棒的领域不变特征。这样设计的目的是为了消除领域偏差，提高模型在目标域上的泛化能力。

技术框架：TDCRL方法主要包含两个阶段：1) 文本嵌入生成阶段：利用数据增强生成风格词向量，并与类别信息结合，生成文本嵌入来模拟视觉表示。2) 因果干预网络训练阶段：构建一个带有混淆因子字典的因果干预网络，通过干预混淆因素，提取领域不变特征。整体流程是从文本提示生成视觉表示，然后利用因果推断学习领域不变特征。

关键创新：TDCRL的关键创新在于将因果推断引入到SFDG设置中，通过构建因果干预网络，显式地干预混淆因素，从而学习到更鲁棒的领域不变特征。与现有方法相比，TDCRL提供了一种更清晰、更有效的机制来消除领域偏差，提高泛化能力。

关键设计：在文本嵌入生成阶段，使用了数据增强技术来生成风格词向量，例如随机替换、插入和删除等。在因果干预网络中，混淆因子字典的设计至关重要，需要根据具体任务选择合适的混淆因素。损失函数的设计也需要考虑因果干预的效果，例如可以使用干预后的特征与原始特征之间的差异作为正则化项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TDCRL在PACS、VLCS、OfficeHome和DomainNet四个标准数据集上进行了广泛的实验，结果表明TDCRL在所有数据集上都取得了state-of-the-art的性能。例如，在PACS数据集上，TDCRL的准确率比现有最佳方法提高了显著的百分点，证明了其在SFDG中的有效性。

🎯 应用场景

该研究成果可应用于各种需要跨领域泛化的场景，例如自动驾驶、医疗图像分析、机器人导航等。在这些场景中，由于数据收集和标注成本高昂，无源域泛化技术具有重要的实际价值。TDCRL的提出为解决这些问题提供了一种新的思路，有望推动相关领域的发展。

📄 摘要（原文）

Deep learning often struggles when training and test data distributions differ. Traditional domain generalization (DG) tackles this by including data from multiple source domains, which is impractical due to expensive data collection and annotation. Recent vision-language models like CLIP enable source-free domain generalization (SFDG) by using text prompts to simulate visual representations, reducing data demands. However, existing SFDG methods struggle with domain-specific confounders, limiting their generalization capabilities. To address this issue, we propose TDCRL (\textbf{T}ext-\textbf{D}riven \textbf{C}ausal \textbf{R}epresentation \textbf{L}earning), the first method to integrate causal inference into the SFDG setting. TDCRL operates in two steps: first, it employs data augmentation to generate style word vectors, combining them with class information to generate text embeddings to simulate visual representations; second, it trains a causal intervention network with a confounder dictionary to extract domain-invariant features. Grounded in causal learning, our approach offers a clear and effective mechanism to achieve robust, domain-invariant features, ensuring robust generalization. Extensive experiments on PACS, VLCS, OfficeHome, and DomainNet show state-of-the-art performance, proving TDCRL effectiveness in SFDG.