Language-Induced Priors for Domain Adaptation

📄 arXiv: 2605.14301v1 📥 PDF

作者: Qiyuan Chen, Jiayu Zhou, Raed Al Kontar

分类: cs.LG, stat.ML

发布日期: 2026-05-14

💡 一句话要点

提出语言诱导先验(LIP)框架，解决目标域数据稀缺时的领域自适应问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 领域自适应 语言诱导先验 大型语言模型 冷启动 期望最大化算法 文本描述 知识迁移

📋 核心要点

  1. 传统领域自适应方法在目标域数据稀缺时易受负迁移影响，无法有效区分相关和不相关源域。
  2. 论文提出LIP框架，利用目标域的文本描述，通过LLM学习先验知识，指导源域选择。
  3. 实验表明，LIP框架在多种任务上有效，即使在目标信号弱时也能提升性能，并具有理论保证。

📝 摘要（中文）

领域自适应在冷启动阶段面临一个根本性的悖论。当目标域数据稀缺时，统计方法无法区分相关的源域和不相关的源域，这通常会导致负迁移。本文通过利用目标域的专家文本描述来解决这一挑战，这是一种经常可用但被忽视的资源。我们提出了一个概率框架，将这些语义描述转化为一个选择模型，即语言诱导先验(LIP)，该模型从预训练的大型语言模型(LLM)中学习偏好。然后，LIP被集成到期望最大化(EM)算法中，以识别源域的相关性。在方法论上，该框架与任何具有似然函数的参数模型兼容。它允许LIP在目标信号较弱时指导源域的选择，同时随着样本的积累逐步完善这些选择。在理论上，我们证明了在正确的先验下，估计器大致匹配一个oracle冷启动MSE，并且无论LIP的质量如何，都保持渐近一致性。在经验上，我们在一个描述性任务(高斯估计)、一个预测性任务(C-MAPSS数据集)和一个规范性任务(MuJoCo hopper)上验证了该框架。

🔬 方法详解

问题定义：领域自适应旨在将知识从一个或多个源域迁移到目标域。当目标域数据极少时（冷启动），传统的基于统计的方法难以准确评估源域的相关性，容易受到负迁移的影响，导致性能下降。现有的方法往往依赖于大量的目标域数据来学习域之间的映射关系，这在目标域数据稀缺的情况下是不可行的。

核心思路：论文的核心思路是利用目标域的文本描述（例如，关于目标任务的专家知识或文档），将其转化为一个先验知识，指导源域的选择。通过预训练的大型语言模型（LLM）将文本描述编码为语义向量，并以此构建一个概率模型，即语言诱导先验（LIP），用于评估源域与目标域的相关性。这种方法允许在目标数据稀缺时，利用外部知识来辅助领域自适应。

技术框架：整体框架包含以下几个主要步骤：1) 利用LLM将目标域的文本描述编码为语义向量。2) 基于该语义向量构建语言诱导先验（LIP），LIP是一个概率模型，用于评估每个源域与目标域的相关性。3) 将LIP集成到期望最大化（EM）算法中，EM算法迭代地更新模型参数和源域选择概率。在E步骤中，利用LIP和当前模型参数计算每个源域的后验概率。在M步骤中，利用后验概率更新模型参数。

关键创新：该论文的关键创新在于将自然语言处理技术（LLM）与领域自适应相结合，利用文本描述作为先验知识来指导源域选择。与传统的基于统计的方法不同，LIP框架可以在目标数据稀缺的情况下，利用外部知识来提高领域自适应的性能。此外，该框架具有理论保证，即使LIP的质量不高，也能保证渐近一致性。

关键设计：LIP的设计基于一个选择模型，该模型根据LLM编码的语义向量计算每个源域的概率。EM算法中的E步骤计算源域的后验概率，该后验概率结合了LIP提供的先验信息和模型似然。M步骤利用加权似然估计更新模型参数，权重由E步骤计算的后验概率决定。具体的损失函数和网络结构取决于具体的任务和模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LIP框架在描述性任务（高斯估计）、预测性任务（C-MAPSS数据集）和规范性任务（MuJoCo hopper）上均取得了显著的性能提升。例如，在C-MAPSS数据集上，LIP框架能够有效地选择相关的源域，避免负迁移，从而提高了预测精度。此外，实验还验证了LIP框架的鲁棒性，即使在LIP的质量不高的情况下，也能保证模型的渐近一致性。

🎯 应用场景

该研究成果可应用于各种领域自适应场景，尤其是在目标域数据获取成本高昂或难以获取的情况下。例如，在医疗诊断、故障预测、机器人控制等领域，可以利用专家知识或相关文档来辅助模型训练，提高模型在目标域的泛化能力。该方法还可以用于跨语言的领域自适应，利用目标语言的文本描述来指导源语言模型的迁移。

📄 摘要（原文）

Domain adaptation faces a fundamental paradox in the cold-start regime. When target data is scarce, statistical methods fail to distinguish relevant source domains from irrelevant ones, which often leads to negative transfer. In this paper, we address this challenge by leveraging expert textual descriptions of the target domain, a resource that is often available but overlooked. We propose a probabilistic framework that translates these semantic descriptions into a choice model, namely a Language-Induced Prior (LIP), that learns the preferences from a pretrained Large Language Model (LLM). The LIP is then integrated into an Expectation-Maximization algorithm to identify source relevance. Methodologically, this framework is compatible with any parametric model where a likelihood is available. It allows the LIP to guide the selection of sources when target signals are weak, while gradually refining these choices as samples accumulate. Theoretically, we prove that the estimator roughly matches an oracle cold-start MSE under a correct prior, while remaining asymptotically consistent regardless of the quality of the LIP. Empirically, we validated the framework on a descriptive (Gaussian estimation), a predictive (C-MAPSS dataset), and a prescriptive task (MuJoCo hopper).