CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration

📄 arXiv: 2409.11365v2 📥 PDF

作者: Jiahui Gao, Renjie Pi, Tianyang Han, Han Wu, Lanqing Hong, Lingpeng Kong, Xin Jiang, Zhenguo Li

分类: cs.CL

发布日期: 2024-09-17 (更新: 2024-10-09)

备注: 10 pages, COLM-2024

💡 一句话要点

提出CoCA，通过宪法校准恢复多模态大语言模型对恶意视觉输入的安全性感知。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 安全性感知 宪法校准 恶意视觉输入 输出分布校准

📋 核心要点

  1. 多模态大语言模型易受恶意视觉输入攻击，产生有害回复，现有方法缺乏对此类安全问题的有效解决。
  2. CoCA通过在输入中加入安全原则，并校准输出分布，增强模型对恶意视觉输入的安全性感知。
  3. 实验表明，CoCA在多模态安全和理解基准测试中表现出色，有效提升了模型的安全性和理解能力。

📝 摘要（中文）

多模态大语言模型(MLLM)凭借其强大的语言能力，在涉及视觉输入的对话中表现出卓越的性能。这些MLLM通常基于大型语言模型(LLM)构建，并配备图像编码器，将图像处理成LLM的token嵌入空间。然而，视觉模态的集成引入了一种独特的脆弱性：MLLM容易受到恶意视觉输入的影响，并倾向于生成敏感或有害的响应，即使LLM已经在文本数据集上进行了训练，以符合人类价值观。本文首先提出问题：“MLLM是否具备针对恶意图像输入的安全性感知？”研究发现，在MLLM的输入中加入明确安全要求的原则后，模型的安全性感知得到提升。这一现象验证了MLLM确实存在针对图像输入的安全性感知，只是被模态差距削弱了。因此，本文提出了一种简单而有效的技术CoCA，通过校准其输出分布来增强MLLM的安全性感知，帮助模型恢复其原始的安全性感知，同时不损失其原始能力。在多模态安全和理解基准测试中验证了该方法的有效性。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLM）在处理恶意视觉输入时，容易产生不安全或有害回复的问题。现有方法未能充分解决视觉模态引入的安全性脆弱性，导致MLLM在安全性方面不如纯文本LLM。现有方法的痛点在于模态差距削弱了MLLM的安全性感知。

核心思路：论文的核心思路是通过“宪法校准”（Constitutional Calibration）来增强MLLM的安全性感知。具体来说，首先通过在输入中加入明确的安全原则来激发模型的安全性意识，然后通过校准模型的输出分布，使其更加符合安全原则，从而恢复并增强模型的安全性感知。这样设计的目的是弥合视觉模态和语言模态之间的差距，使MLLM能够更好地理解和应对恶意视觉输入。

技术框架：CoCA方法主要包含两个阶段：1) 安全原则注入：在模型的输入中加入明确的安全原则，例如“避免生成包含暴力或歧视内容的回复”。这可以促使模型意识到安全性要求。2) 输出分布校准：通过校准模型的输出分布，使其更倾向于安全的回复。具体实现方式未知，可能涉及调整模型参数或使用特定的损失函数。

关键创新：论文的关键创新在于提出了“宪法校准”的概念，并将其应用于多模态大语言模型的安全性增强。与现有方法不同，CoCA不是直接修改模型的结构或训练数据，而是通过在输入和输出层面进行校准，来恢复和增强模型的安全性感知。这种方法更加灵活和高效，可以在不损失模型原有能力的前提下，显著提升模型的安全性。

关键设计：论文中关于安全原则的具体形式和输出分布校准的具体方法的细节描述不足，属于未知信息。未来的研究可以探索不同的安全原则和校准方法，以进一步提升CoCA的性能。损失函数和网络结构等技术细节也未在论文中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了CoCA方法的有效性，在多模态安全和理解基准测试中取得了显著的性能提升。具体的性能数据和对比基线未在摘要中给出，属于未知信息。但论文强调CoCA能够在不损失模型原有能力的前提下，有效提升模型的安全性感知。

🎯 应用场景

该研究成果可应用于各种需要处理视觉输入的多模态对话系统，例如智能客服、虚拟助手、社交媒体内容审核等。通过提升MLLM的安全性，可以有效防止模型生成有害或不当内容，保障用户安全，提升用户体验，并降低企业运营风险。未来，该技术有望在更广泛的多模态应用场景中发挥重要作用。

📄 摘要（原文）

The deployment of multimodal large language models (MLLMs) has demonstrated remarkable success in engaging in conversations involving visual inputs, thanks to the superior power of large language models (LLMs). Those MLLMs are typically built based on the LLMs, with an image encoder to process images into the token embedding space of the LLMs. However, the integration of visual modality has introduced a unique vulnerability: the MLLM becomes susceptible to malicious visual inputs and prone to generating sensitive or harmful responses, even though the LLM has been trained on textual dataset to align with human value. In this paper, we first raise the question: ``Do the MLLMs possess safety-awareness against malicious image inputs?". We find that after adding a principle that specifies the safety requirement into the input of the MLLM, the model's safety awareness becomes boosted. This phenomenon verifies the existence of MLLM's safety-awareness against image inputs, it is only weakened by the modality gap. We then introduce a simple yet effective technique termed CoCA, which amplifies the safety-awareness of the MLLM by calibrating its output distribution. Our proposed strategy helps the model reclaim its original safety awareness without losing its original capabilities. We verify the effectiveness of our approach on both multimodal safety and understanding benchmarks.