Dynamic Prompt Fusion for Multi-Task and Cross-Domain Adaptation in LLMs

📄 arXiv: 2509.18113v1 📥 PDF

作者: Xin Hu, Yue Kang, Guanzi Yao, Tianze Kang, Mengjie Wang, Heyao Liu

分类: cs.CL, cs.LG

发布日期: 2025-09-09

💡 一句话要点

提出动态Prompt融合框架，提升LLM在多任务和跨领域场景下的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多任务学习 跨领域适应 动态Prompt Prompt融合 任务调度 知识迁移

📋 核心要点

  1. 现有方法依赖固定prompt模板，难以适应多任务和跨领域场景下的语义差异。
  2. 提出动态Prompt融合框架，通过prompt池和任务感知调度策略，动态组合和对齐不同任务的prompt。
  3. 实验结果表明，该方法显著提高了模型在语言理解和知识推理任务上的性能，提升了泛化能力。

📝 摘要（中文）

本研究旨在解决大型语言模型在多任务和跨领域环境中常见的泛化能力不足问题。与依赖固定prompt模板的SPoT等现有方法不同，本研究提出了一种统一的多任务学习框架，该框架具有动态prompt调度机制。通过引入prompt池和任务感知的调度策略，该方法动态地组合和对齐不同任务的prompt，从而增强模型捕获跨任务语义差异的能力。在prompt融合过程中，模型利用任务嵌入和门控机制来精细地控制prompt信号，确保prompt内容与任务特定需求对齐，同时构建跨任务的灵活共享路径。此外，所提出的优化目标侧重于联合多任务学习，并结合了自动学习的调度权重策略，有效缓解了任务干扰和负迁移。通过一系列敏感性实验，验证了该机制在保持模型稳定性和增强迁移能力方面的优势。实验结果表明，该prompt调度方法显著提高了模型在一系列语言理解和知识推理任务上的性能，充分证明了其在统一多任务建模和跨领域适应方面的适用性和有效性。

🔬 方法详解

问题定义：大型语言模型在多任务和跨领域场景下，由于任务间的语义差异和知识冲突，泛化能力受到限制。现有方法如SPoT依赖固定的prompt模板，无法有效捕捉和利用不同任务的特性，容易导致负迁移和性能下降。

核心思路：核心在于动态地为每个任务选择和融合合适的prompt。通过构建一个prompt池，并根据任务的特性动态地选择和组合prompt，从而更好地适应不同任务的需求。这种动态性允许模型在不同任务之间共享知识，同时避免任务间的干扰。

技术框架：整体框架包含三个主要模块：Prompt池、任务嵌入模块和Prompt融合模块。Prompt池存储了多个prompt模板，任务嵌入模块将每个任务映射到一个低维向量空间，Prompt融合模块根据任务嵌入从Prompt池中选择prompt，并通过门控机制进行融合。优化目标是联合多任务学习，并使用自动学习的权重调度策略来平衡不同任务的损失。

关键创新：最重要的创新点在于动态prompt调度机制，它允许模型根据任务的特性自适应地选择和融合prompt。与现有方法相比，该方法能够更好地捕捉任务间的语义差异，并构建跨任务的灵活共享路径。

关键设计：Prompt池的设计需要考虑prompt的多样性和覆盖范围。任务嵌入模块可以使用预训练语言模型或专门设计的神经网络。Prompt融合模块使用门控机制来控制不同prompt的权重，确保prompt内容与任务特定需求对齐。损失函数采用加权多任务学习损失，权重由自动学习的调度策略确定。

📊 实验亮点

实验结果表明，提出的动态prompt调度方法在多个语言理解和知识推理任务上取得了显著的性能提升。通过敏感性实验，验证了prompt温度参数和任务数量对模型性能的影响，证明了该方法在保持模型稳定性和增强迁移能力方面的优势。具体性能数据和对比基线信息在原文中。

🎯 应用场景

该研究成果可应用于各种需要多任务学习和跨领域知识迁移的场景，例如智能客服、机器翻译、文本摘要等。通过动态prompt融合，可以提升模型在复杂任务环境下的性能和泛化能力，降低模型训练成本，并加速新任务的部署。

📄 摘要（原文）

This study addresses the generalization limitations commonly observed in large language models under multi-task and cross-domain settings. Unlike prior methods such as SPoT, which depends on fixed prompt templates, our study introduces a unified multi-task learning framework with dynamic prompt scheduling mechanism. By introducing a prompt pool and a task-aware scheduling strategy, the method dynamically combines and aligns prompts for different tasks. This enhances the model's ability to capture semantic differences across tasks. During prompt fusion, the model uses task embeddings and a gating mechanism to finely control the prompt signals. This ensures alignment between prompt content and task-specific demands. At the same time, it builds flexible sharing pathways across tasks. In addition, the proposed optimization objective centers on joint multi-task learning. It incorporates an automatic learning strategy for scheduling weights, which effectively mitigates task interference and negative transfer. To evaluate the effectiveness of the method, a series of sensitivity experiments were conducted. These experiments examined the impact of prompt temperature parameters and task number variation. The results confirm the advantages of the proposed mechanism in maintaining model stability and enhancing transferability. Experimental findings show that the prompt scheduling method significantly improves performance on a range of language understanding and knowledge reasoning tasks. These results fully demonstrate its applicability and effectiveness in unified multi-task modeling and cross-domain adaptation.