Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation

📄 arXiv: 2610.11067v1 📥 PDF

作者: Deepak Sridhar, Yi Li, Kartikeya Bhardwaj, Shuangjun Liu, Taotao Jing, Yuan Li, Shuai Zhang, Jiancheng Lyu, Dashan Gao, Nuno Vasconcelos

分类: cs.CV

发布日期: 2026-10-08

备注: Accepted to NeurIPS 2026. Project page: https://deepaksridhar.github.io/dmp.github.io/. Code: https://github.com/DeepakSridhar/dmp

🔗 代码/项目: GITHUB

💡 一句话要点

提出扩散元提示模型以解决基础模型适应性不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 元学习 提示学习 模型适应 自然语言处理 计算机视觉 多模态学习

📋 核心要点

  1. 现有的提示学习方法通常是任务特定的，难以适应新的任务类别和领域，限制了其泛化能力。
  2. 本文提出的扩散元提示（DMP）模型通过扩散模型建模提示分布，能够根据自然语言描述合成新提示，提升了模型的适应性。
  3. DMP在多个任务上实现了显著的性能提升，例如在复合分类任务上相较于之前的元学习方法平均提高了2.0%，并在特定数据集对上提升高达8.5%。

📝 摘要（中文）

提示学习是一种流行的基础模型适应方法，但学习到的提示通常是特定于任务的，无法推广到新的类别、领域或任务组合。本文提出了一种扩散元提示（DMP）模型，该框架利用扩散模型对学习到的提示分布进行建模。DMP在没有原始任务示例或任务损失的情况下进行训练和采样，并根据自然语言任务描述合成新提示。为提高采样稳定性，DMP引入了一种测试时引导策略，利用训练中选择的最佳提示作为扩散采样的潜在锚点。DMP在分类、检索和文本到图像生成任务中提高了泛化能力，支持概念组合和负提示，而无需显式训练。与提示检索方法相比，DMP减少了超过90%的存储和推理成本。

🔬 方法详解

问题定义：当前的提示学习方法在适应新任务时存在局限性，通常只能针对特定任务进行优化，导致泛化能力不足。

核心思路：本文提出的扩散元提示（DMP）模型通过利用扩散模型对提示进行建模，能够在没有原始任务示例的情况下合成新提示，从而提高模型的适应性和泛化能力。

技术框架：DMP的整体架构包括提示的训练和采样两个阶段。在训练阶段，DMP从已有的提示库中学习提示分布；在采样阶段，模型根据自然语言任务描述生成新提示，并通过测试时引导策略提高采样的稳定性。

关键创新：DMP的主要创新在于其使用扩散模型来建模提示分布，并引入测试时引导策略，使得在不重新训练模型的情况下，能够有效利用已有的提示进行新任务的适应。

关键设计：DMP的设计中，关键参数包括提示的选择策略和扩散过程中的锚点设置，确保在采样过程中能够稳定生成高质量的提示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DMP在多个任务上展现出卓越的性能，特别是在复合分类任务中，相较于传统的元学习方法，平均提升了2.0%，在特定数据集对上更是达到8.5%的提升。此外，DMP在跨任务泛化方面也实现了约2-9%的改进，显著降低了存储和推理成本。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态学习等。DMP模型能够有效提升基础模型在不同任务上的适应性，具有广泛的实际价值，尤其是在需要快速适应新任务的场景中。未来，DMP可能推动更高效的模型训练和应用，降低资源消耗。

📄 摘要（原文）

Prompt learning is a popular method for adapting foundation models, but learned prompts are typically task-specific and fail to generalize to new classes, domains, or compositions of tasks. In this paper, we introduce a Diffusion Meta-Prompt (DMP) model , a framework that models the distribution of learned prompts using diffusion models. Given a repository of previously learned prompts, DMP is trained and sampled without access to the original task examples or task losses, and synthesizes new prompts conditioned on natural language task descriptions. To improve the sampling stability, we introduce a test-time steering strategy for DMP, which uses the best training-selected prompt in the repository as a latent anchor during diffusion sampling, without retraining the DMP or accessing test classes. DMP improves generalization across classification, retrieval and text-to-image generation tasks, supports concept composition and negative prompting without explicit training. It reduces storage and inference costs by over 90% compared to prompt retrieval methods. For composite classification, DMP achieves upto 2.0% average gain over prior meta-learning methods across 55 pairs of datasets with gains as high as 8.5% on specific pairs such as Eurosat and Flowers. DMP also enhances cross-task generalization with ~2-9% improvement for hierarchical classification task. We further provide a theoretical guarantee bounding the expected task loss of prompts sampled from a DMP. Code is available: https://github.com/DeepakSridhar/dmp