Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization
作者: De Cheng, Zhipeng Xu, Xinyang Jiang, Dongsheng Li, Nannan Wang, Xinbo Gao
分类: cs.CV, cs.LG
发布日期: 2025-07-03
💡 一句话要点
提出基于语言引导和表征对齐的Prompt解耦方法，提升领域泛化能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 领域泛化 视觉基础模型 Prompt调优 语言引导 表征对齐
📋 核心要点
- 现有基于视觉基础模型的领域泛化方法难以有效解耦跨域不变特征。
- 利用大型语言模型解耦文本Prompt，引导视觉Prompt调优，学习领域不变视觉表征。
- 引入最差显式表征对齐，通过抽象Prompt和风格化增强，提升源域多样性并保持表征一致性。
📝 摘要（中文）
领域泛化(DG)旨在开发一种通用模型，使其能够在未见过的目标领域中有效执行。近年来，预训练视觉基础模型(VFMs)，如CLIP，在增强深度学习模型的泛化能力方面表现出巨大的潜力。尽管基于VFM的领域Prompt调优在DG中越来越受到关注，但有效设计能够解耦跨不同领域不变特征的Prompt仍然是一个关键挑战。本文提出通过利用VFM的可控和灵活的语言Prompt来解决这一挑战。注意到VFM的文本模态自然更容易解耦，我们引入了一种新颖的文本特征引导的视觉Prompt调优框架。该框架首先使用大型语言模型(LLM)自动解耦文本Prompt，然后学习由解耦的文本特征引导的领域不变视觉表征。然而，仅依靠语言来引导视觉特征解耦具有局限性，因为视觉特征有时可能过于复杂或细微，无法被描述性文本完全捕获。为了解决这个问题，我们引入了最差显式表征对齐(WERA)，它通过结合一组额外的抽象Prompt来扩展文本引导的视觉Prompt。这些Prompt通过风格化的图像增强来增强源域多样性，而对齐约束确保视觉表征在原始和增强的分布中保持一致。在主要DG数据集(包括PACS、VLCS、OfficeHome、DomainNet和TerraInc)上进行的实验表明，我们提出的方法优于最先进的DG方法。
🔬 方法详解
问题定义：领域泛化旨在训练一个模型，使其在未见过的目标领域上表现良好。现有的基于视觉基础模型的方法，在Prompt设计上存在挑战，难以有效解耦领域不变特征，导致泛化能力受限。
核心思路：利用视觉基础模型中文本模态更易于解耦的特性，通过语言引导视觉Prompt的调优。同时，考虑到语言描述的局限性，引入额外的抽象Prompt和表征对齐，增强模型的鲁棒性和泛化能力。
技术框架：该方法包含两个主要模块：文本特征引导的视觉Prompt调优和最差显式表征对齐(WERA)。首先，使用大型语言模型(LLM)解耦文本Prompt，得到领域相关的文本特征。然后，利用这些文本特征引导视觉Prompt的学习，从而提取领域不变的视觉表征。为了弥补语言描述的不足，引入WERA模块，通过抽象Prompt和风格化图像增强，增加源域的多样性，并强制原始图像和增强图像的视觉表征对齐。
关键创新：该方法的核心创新在于结合了语言引导和表征对齐，实现了更有效的Prompt解耦。与仅依赖视觉信息的传统方法不同，该方法利用了语言的语义信息，从而更好地理解和区分不同领域的特征。WERA模块的引入进一步增强了模型的鲁棒性和泛化能力。
关键设计：文本Prompt的解耦通过LLM实现，具体使用的LLM类型未知。视觉Prompt的调优通过最小化文本特征和视觉特征之间的距离来实现。WERA模块中，风格化图像增强的具体方法未知，但目标是增加源域的多样性。表征对齐通过最小化原始图像和增强图像的视觉表征之间的距离来实现，具体的距离度量方式未知。
🖼️ 关键图片
📊 实验亮点
在PACS、VLCS、OfficeHome、DomainNet和TerraInc等多个主流领域泛化数据集上进行了实验，结果表明该方法显著优于当前最先进的领域泛化方法。具体的性能提升数据未给出，但强调了该方法在不同数据集上的普遍有效性。
🎯 应用场景
该研究成果可应用于各种需要领域泛化能力的计算机视觉任务，例如图像分类、目标检测和图像分割。在医疗图像分析、自动驾驶和机器人等领域具有潜在的应用价值，可以提高模型在不同环境和条件下的可靠性和准确性，降低对大量标注数据的依赖。
📄 摘要（原文）
Domain Generalization (DG) seeks to develop a versatile model capable of performing effectively on unseen target domains. Notably, recent advances in pre-trained Visual Foundation Models (VFMs), such as CLIP, have demonstrated considerable potential in enhancing the generalization capabilities of deep learning models. Despite the increasing attention toward VFM-based domain prompt tuning within DG, the effective design of prompts capable of disentangling invariant features across diverse domains remains a critical challenge. In this paper, we propose addressing this challenge by leveraging the controllable and flexible language prompt of the VFM. Noting that the text modality of VFMs is naturally easier to disentangle, we introduce a novel framework for text feature-guided visual prompt tuning. This framework first automatically disentangles the text prompt using a large language model (LLM) and then learns domain-invariant visual representation guided by the disentangled text feature. However, relying solely on language to guide visual feature disentanglement has limitations, as visual features can sometimes be too complex or nuanced to be fully captured by descriptive text. To address this, we introduce Worst Explicit Representation Alignment (WERA), which extends text-guided visual prompts by incorporating an additional set of abstract prompts. These prompts enhance source domain diversity through stylized image augmentations, while alignment constraints ensure that visual representations remain consistent across both the original and augmented distributions. Experiments conducted on major DG datasets, including PACS, VLCS, OfficeHome, DomainNet, and TerraInc, demonstrate that our proposed method outperforms state-of-the-art DG methods.