Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models

📄 arXiv: 2502.01576v1 📥 PDF

作者: Hashmat Shadab Malik, Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar, Fahad Khan, Salman Khan

分类: cs.CV

发布日期: 2025-02-03

备注: Under Review

🔗 代码/项目: GITHUB

💡 一句话要点

利用大规模鲁棒图像编码器提升多模态大语言模型对抗攻击的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 对抗攻击 鲁棒性 视觉编码器 对抗预训练

📋 核心要点

  1. 现有MLLM易受对抗攻击影响，通过对抗微调CLIP编码器提升鲁棒性的方法泛化性受限。
  2. 论文提出利用大规模对抗预训练的视觉模型，无需额外训练即可提升MLLM的鲁棒性。
  3. 实验表明，该方法在VQA、图像描述和对抗攻击防御上均有显著提升，鲁棒性增益明显。

📝 摘要（中文）

多模态大语言模型(MLLMs)在视觉-语言任务中表现出色，但容易受到视觉对抗扰动的影响，这些扰动可能导致幻觉、操纵响应或绕过安全机制。现有方法试图通过在ImageNet规模的数据上对CLIP视觉编码器进行约束对抗微调来缓解这些风险，以确保其泛化能力得到保留。然而，这种有限的对抗训练限制了鲁棒性和更广泛的泛化。本文探索了一种替代方法，即利用已在大型数据集上进行对抗预训练的现有视觉分类模型。分析表明：(1)对抗预训练的广泛规模和多样性使这些模型能够表现出对各种对抗威胁的卓越鲁棒性，从难以察觉的扰动到高级越狱攻击，而无需额外的对抗训练；(2)与这些鲁棒模型的端到端MLLM集成有助于语言组件更好地适应鲁棒的视觉特征，在复杂的推理任务上优于现有的即插即用方法。通过对视觉问答、图像字幕和越狱攻击的系统评估，证明了使用这些鲁棒模型训练的MLLM实现了卓越的对抗鲁棒性，同时保持了良好的原始性能。该框架在字幕和VQA任务中分别实现了2倍和1.5倍的平均鲁棒性增益，并在对抗越狱攻击方面提高了10%以上。

🔬 方法详解

问题定义：现有的多模态大语言模型（MLLMs）在视觉-语言任务中表现出色，但容易受到对抗性攻击的影响，例如视觉对抗扰动，这可能导致模型产生幻觉、给出被操纵的回复，甚至绕过安全机制。现有的防御方法，例如对抗训练，通常需要在ImageNet等数据集上对视觉编码器进行微调，但这种方法的泛化能力有限，无法应对各种各样的对抗攻击。

核心思路：论文的核心思路是利用已经在大规模数据集上进行了对抗预训练的视觉分类模型，这些模型由于经历了更广泛和多样化的对抗训练，因此具有更强的鲁棒性。通过将这些鲁棒的视觉模型集成到MLLM中，可以提高MLLM对对抗攻击的防御能力，而无需进行额外的对抗训练。

技术框架：该方法的核心是替换MLLM中原有的视觉编码器（通常是CLIP），使用一个预先训练好的鲁棒视觉编码器。整体流程包括：1) 选择一个在大规模数据集上进行过对抗预训练的视觉模型；2) 将该模型集成到MLLM中，替换原有的视觉编码器；3) 对整个MLLM进行微调，以使语言模型适应新的视觉特征表示。

关键创新：最重要的创新点在于，论文发现利用大规模对抗预训练的视觉模型可以直接提升MLLM的鲁棒性，而无需针对MLLM进行专门的对抗训练。这与现有方法形成了鲜明对比，现有方法通常需要对视觉编码器进行对抗微调，而这种微调的泛化能力有限。

关键设计：论文的关键设计在于选择合适的鲁棒视觉模型，并有效地将其集成到MLLM中。具体的技术细节包括：选择在不同数据集上进行对抗预训练的模型，例如使用不同类型的对抗攻击方法训练的模型；在微调阶段，调整语言模型的学习率，以使其更好地适应新的视觉特征表示；使用不同的评估指标来衡量MLLM的鲁棒性，例如对抗攻击下的准确率和越狱攻击的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用鲁棒视觉编码器训练的MLLM在图像描述和VQA任务中分别实现了2倍和1.5倍的平均鲁棒性增益。在对抗越狱攻击方面，该方法也取得了超过10%的改进。这些结果表明，该方法能够显著提高MLLM的鲁棒性，同时保持良好的原始性能。

🎯 应用场景

该研究成果可应用于各种需要高安全性和可靠性的多模态应用场景，例如自动驾驶、医疗诊断、金融风控等。通过提高MLLM的鲁棒性，可以防止恶意攻击者利用对抗样本操纵模型，从而确保系统的稳定运行和用户的利益。未来，该方法可以进一步推广到其他多模态任务和模型架构中，为构建更加安全可靠的人工智能系统奠定基础。

📄 摘要（原文）

Multi-modal Large Language Models (MLLMs) excel in vision-language tasks but remain vulnerable to visual adversarial perturbations that can induce hallucinations, manipulate responses, or bypass safety mechanisms. Existing methods seek to mitigate these risks by applying constrained adversarial fine-tuning to CLIP vision encoders on ImageNet-scale data, ensuring their generalization ability is preserved. However, this limited adversarial training restricts robustness and broader generalization. In this work, we explore an alternative approach of leveraging existing vision classification models that have been adversarially pre-trained on large-scale data. Our analysis reveals two principal contributions: (1) the extensive scale and diversity of adversarial pre-training enables these models to demonstrate superior robustness against diverse adversarial threats, ranging from imperceptible perturbations to advanced jailbreaking attempts, without requiring additional adversarial training, and (2) end-to-end MLLM integration with these robust models facilitates enhanced adaptation of language components to robust visual features, outperforming existing plug-and-play methodologies on complex reasoning tasks. Through systematic evaluation across visual question-answering, image captioning, and jail-break attacks, we demonstrate that MLLMs trained with these robust models achieve superior adversarial robustness while maintaining favorable clean performance. Our framework achieves 2x and 1.5x average robustness gains in captioning and VQA tasks, respectively, and delivers over 10% improvement against jailbreak attacks. Code and pretrained models will be available at https://github.com/HashmatShadab/Robust-LLaVA.