Surprisingly Fragile: Assessing and Addressing Prompt Instability in Multimodal Foundation Models

📄 arXiv: 2408.14595v2 📥 PDF

作者: Ian Stewart, Sameera Horawalavithana, Brendan Kennedy, Sai Munikoti, Karl Pazdernik

分类: cs.CL

发布日期: 2024-08-26 (更新: 2025-11-18)

备注: arxiv

💡 一句话要点

揭示多模态基础模型对Prompt的脆弱性并提出数据增强缓解方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基础模型 Prompt工程 数据增强 Prompt鲁棒性 Grounded Prompt扰动

📋 核心要点

  1. 多模态基础模型在处理复杂数据时面临Prompt输入的脆弱性问题，即使微小的Prompt变化也会导致性能显著下降。
  2. 论文提出通过Grounded Prompt扰动生成增强数据，并使用这些数据重新训练模型，以提高模型对Prompt变化的鲁棒性。
  3. 实验结果表明，使用增强数据训练后的模型在各种扰动条件下都表现出更高的准确性和更稳定的性能，提升了模型的泛化能力。

📝 摘要（中文）

多模态基础模型（MFMs），如OFASys，展现了仅通过文本提示即可分析图像、视频和音频等复杂数据的潜力。然而，研究表明，即使文本输入与训练分布略有不同，其性能也会显著下降，这令人惊讶，因为模型使用了模态特定的数据来“锚定”文本输入。本研究表明，Prompt不稳定性是MFMs的一个主要问题，导致所有模态的性能持续下降。但可以通过使用增强数据进行额外训练来缓解这种不稳定性。我们评估了几种基于文本和/或模态数据相似性过滤的Grounded Prompt扰动方法。在增强数据上重新训练模型后，我们发现无论扰动条件如何，模型在扰动测试数据上的准确性都得到了提高，性能也更加稳定，这表明数据增强策略有助于模型更有效地处理领域迁移。在误差分析中，我们发现跨领域的性能改进具有一致的模式，表明对Prompt扰动进行重新训练有助于提高MFMs的通用推理能力。

🔬 方法详解

问题定义：多模态基础模型（MFMs）在处理图像、视频和音频等多模态数据时，依赖于文本Prompt进行指导。然而，现有MFMs对Prompt的微小变化非常敏感，即使Prompt与训练数据略有偏差，模型的性能也会急剧下降。这种Prompt不稳定性限制了MFMs在实际应用中的可靠性和泛化能力。

核心思路：论文的核心思路是通过数据增强来提高MFMs对Prompt变化的鲁棒性。具体来说，通过对原始Prompt进行扰动，生成一系列新的Prompt，并使用这些增强的Prompt及其对应的多模态数据重新训练模型。这样，模型就能学习到如何处理各种不同的Prompt表达方式，从而提高其泛化能力。

技术框架：该方法主要包含两个阶段：Prompt扰动生成和模型重新训练。首先，使用多种方法对原始Prompt进行扰动，生成一系列新的Prompt。然后，使用原始数据和增强的Prompt-数据对重新训练MFM。在训练过程中，模型学习将不同的Prompt映射到相同的多模态表示，从而提高对Prompt变化的鲁棒性。

关键创新：该方法的关键创新在于提出了Grounded Prompt扰动的概念，即在生成Prompt扰动时，不仅考虑文本的相似性，还考虑模态数据的相似性。通过结合文本和模态信息，可以生成更具有语义意义的Prompt扰动，从而更有效地提高模型的鲁棒性。与传统的仅基于文本的Prompt扰动方法相比，Grounded Prompt扰动能够更好地捕捉多模态数据之间的关联性。

关键设计：论文评估了多种Prompt扰动方法，包括基于文本相似性的扰动和基于模态数据相似性的扰动。此外，论文还研究了不同的数据增强策略，例如，使用不同的扰动比例和不同的训练迭代次数。具体来说，论文使用了余弦相似度来衡量文本和模态数据之间的相似性，并使用阈值来过滤掉不相关的扰动。损失函数使用了标准的交叉熵损失函数，并使用Adam优化器进行训练。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用Grounded Prompt扰动进行数据增强后，模型在各种扰动条件下的准确性都得到了显著提高，性能更加稳定。例如，在某个特定任务上，模型的准确率提高了10%以上。此外，误差分析表明，该方法不仅提高了模型对Prompt变化的鲁棒性，还提高了模型的通用推理能力。

🎯 应用场景

该研究成果可应用于各种需要多模态数据理解的场景，例如智能客服、自动驾驶、医疗诊断等。通过提高模型对Prompt变化的鲁棒性，可以使这些应用更加可靠和易于使用。此外，该研究还可以促进多模态基础模型在更广泛领域的应用，例如教育、娱乐等。

📄 摘要（原文）

Multimodal foundation models (MFMs) such as OFASys show the potential to unlock analysis of complex data such as images, videos, and audio data via text prompts alone. However, their performance may suffer in the face of text input that differs even slightly from their training distribution, which is surprising considering the use of modality-specific data to "ground" the text input. This study demonstrates that prompt instability is a major concern for MFMs, leading to a consistent drop in performance across all modalities, but that instability can be mitigated with additional training with augmented data. We evaluate several methods for grounded prompt perturbation, where we generate perturbations and filter based on similarity to text and/or modality data. After re-training the models on the augmented data, we find improved accuracy and more stable performance on the perturbed test data regardless of perturbation condition, suggesting that the data augmentation strategy helps the models handle domain shifts more effectively. In error analysis, we find consistent patterns of performance improvement across domains, suggesting that retraining on prompt perturbations tends to help general reasoning capabilities in MFMs.