Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models?

📄 arXiv: 2504.10000v1 📥 PDF

作者: Yanbo Wang, Jiyang Guan, Jian Liang, Ran He

分类: cs.CR, cs.AI, cs.CL, cs.CV, cs.LG

发布日期: 2025-04-14

备注: Accepted to CVPR 2025, codes in process

💡 一句话要点

通过修正数据偏见，无需恶意数据即可提升多模态大语言模型的安全性对齐。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 安全对齐 数据偏差 拒绝回复 视觉攻击

📋 核心要点

  1. 现有MLLM安全对齐依赖语言模块继承，缺乏针对多模态输入的专门安全措施，易受视觉攻击。
  2. 通过在良性数据集中引入拒绝回复进行微调，纠正数据偏差，从而提升模型安全性。
  3. 实验表明，无需恶意数据，仅需少量拒绝数据即可显著提升模型安全，表明安全对齐未丢失。

📝 摘要（中文）

多模态大语言模型(MLLMs)取得了显著进展，但其安全性对齐仍然有限。目前，开源MLLMs主要依赖于从语言模块继承的对齐来避免有害生成。然而，缺乏专门为多模态输入设计的安全措施导致了对齐差距，使MLLMs容易受到视觉领域的攻击，如排版篡改。现有方法利用精心设计的安全数据集来增强模型防御能力，但从高质量数据集获得的特定知识或模式仍不清楚。通过比较实验，我们发现对齐差距主要来自数据分布偏差，而图像内容、响应质量或数据集的对比行为对提高多模态安全性贡献不大。为了进一步研究并确定提高MLLM安全性的关键因素，我们提出在少量良性指令跟随数据上微调MLLM，并将响应替换为简单、明确的拒绝语句。实验表明，无需费力收集高质量的恶意数据，只要微调集中存在特定比例的拒绝数据，模型安全性仍然可以显著提高，这表明安全对齐并没有丢失，而是在多模态预训练或指令微调期间被掩盖了。简单地纠正潜在的数据偏差可以缩小视觉领域的安全差距。

🔬 方法详解

问题定义：当前多模态大语言模型(MLLMs)在安全性对齐方面存在不足，尤其是在处理视觉输入时，容易受到恶意攻击，例如通过图像中的文字进行诱导。现有的安全对齐方法通常依赖于人工构建的恶意数据集进行训练，但这种方法成本高昂，且难以覆盖所有可能的攻击场景。因此，如何以更高效的方式提升MLLMs的安全性对齐是一个亟待解决的问题。

核心思路：论文的核心思路是，MLLMs的安全性问题并非完全源于缺乏对恶意数据的学习，而是由于数据分布的偏差导致模型在面对特定类型的输入时表现出不安全的行为。因此，通过在良性数据集中引入明确的拒绝回复，可以纠正这种数据偏差，从而提升模型的安全性。这种方法避免了收集和标注大量恶意数据的需求，降低了成本，并提高了效率。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择一个预训练的MLLM作为基础模型；2) 收集一个包含图像和文本描述的良性数据集；3) 将数据集中的部分文本描述对应的回复替换为明确的拒绝语句，例如“我不能回答这个问题，因为它可能有害”；4) 使用修改后的数据集对MLLM进行微调；5) 使用一系列安全评估指标来评估微调后的模型的安全性。

关键创新：该研究的关键创新在于，它颠覆了传统的安全对齐方法，不再依赖于人工构建的恶意数据集，而是通过纠正数据偏差来提升模型的安全性。这种方法不仅降低了成本，还提高了效率，并且具有更强的泛化能力。此外，该研究还揭示了MLLMs的安全性问题并非完全源于缺乏对恶意数据的学习，而是由于数据分布的偏差导致模型在面对特定类型的输入时表现出不安全的行为。

关键设计：在关键设计方面，论文强调了拒绝数据在微调数据集中的比例的重要性。实验表明，只有当拒绝数据的比例达到一定阈值时，才能显著提升模型的安全性。此外，论文还强调了拒绝语句的清晰性和明确性，避免使用模糊或含糊不清的表达方式。具体的参数设置和网络结构等技术细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

实验结果表明，通过在良性数据集中引入少量拒绝回复进行微调，可以显著提升MLLMs的安全性，而无需使用人工构建的恶意数据集。具体性能数据和提升幅度在摘要中未给出，属于未知信息。该研究表明，纠正数据偏差是提升MLLMs安全性的有效途径。

🎯 应用场景

该研究成果可应用于各种需要安全保障的多模态应用场景，如智能客服、自动驾驶、医疗诊断等。通过提升MLLMs的安全性，可以有效防止恶意攻击和不当行为，保障用户权益和社会安全。此外，该研究提出的方法可以降低安全对齐的成本，促进MLLMs的广泛应用。

📄 摘要（原文）

Multi-modal large language models (MLLMs) have made significant progress, yet their safety alignment remains limited. Typically, current open-source MLLMs rely on the alignment inherited from their language module to avoid harmful generations. However, the lack of safety measures specifically designed for multi-modal inputs creates an alignment gap, leaving MLLMs vulnerable to vision-domain attacks such as typographic manipulation. Current methods utilize a carefully designed safety dataset to enhance model defense capability, while the specific knowledge or patterns acquired from the high-quality dataset remain unclear. Through comparison experiments, we find that the alignment gap primarily arises from data distribution biases, while image content, response quality, or the contrastive behavior of the dataset makes little contribution to boosting multi-modal safety. To further investigate this and identify the key factors in improving MLLM safety, we propose finetuning MLLMs on a small set of benign instruct-following data with responses replaced by simple, clear rejection sentences. Experiments show that, without the need for labor-intensive collection of high-quality malicious data, model safety can still be significantly improved, as long as a specific fraction of rejection data exists in the finetuning set, indicating the security alignment is not lost but rather obscured during multi-modal pretraining or instruction finetuning. Simply correcting the underlying data bias could narrow the safety gap in the vision domain.