Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model

📄 arXiv: 2505.06538v4 📥 PDF

作者: Xinyue Lou, You Li, Jinan Xu, Xiangyu Shi, Chi Chen, Kaiyu Huang

分类: cs.CL

发布日期: 2025-05-10 (更新: 2025-10-11)

备注: Accepted by EMNLP 2025 (main)

🔗 代码/项目: GITHUB

💡 一句话要点

提出安全导向思维调优方法，提升多模态大模型推理的安全性与鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大模型 安全性 鲁棒性 安全对齐 思维调优

📋 核心要点

  1. 多模态大模型推理面临安全性和可靠性挑战，现有方法缺乏系统性的安全评估和有效的安全提升手段。
  2. 论文提出一种安全导向的思维调优方法，通过赋予模型安全意识的推理过程来提升其安全性。
  3. 实验结果表明，使用该方法微调后的模型在越狱鲁棒性和安全意识基准测试中均表现出显著的安全性能提升。

📝 摘要（中文）

多模态大模型推理(MLRM)的快速发展展示了广泛的应用潜力，但其安全性和可靠性仍然是需要系统探索的关键问题。为了解决这一问题，我们对11个MLRM在5个基准上进行了全面和系统的安全评估，揭示了大多数先进模型中普遍存在的安全退化现象。此外，我们的分析揭示了不同基准测试中不同的安全模式：在越狱鲁棒性基准测试中观察到显著的安全退化，而安全意识基准测试中表现出不太明显的退化。特别是在某些情况下，较长的思考过程甚至可以提高安全性能。因此，利用模型固有的推理能力来检测不安全意图是解决MLRM安全问题的一种潜在方法。为了实现这一见解，我们构建了一个包含安全导向思维过程的多模态调优数据集。通过使用该数据集对现有MLRM进行微调的实验结果表明，可以有效地提高越狱鲁棒性和安全意识基准测试的安全性。这项研究为开发安全的MLRM提供了一个新的视角。我们的数据集可在https://github.com/xinyuelou/Think-in-Safety上找到。

🔬 方法详解

问题定义：论文旨在解决多模态大模型推理（MLRM）中存在的安全对齐崩溃问题。现有MLRM在面对对抗性攻击（如越狱攻击）时，容易产生不安全的输出，并且在安全意识方面也存在不足。现有的方法缺乏对MLRM安全性的系统评估，也缺乏有效的手段来提升其安全性。

核心思路：论文的核心思路是利用模型自身的推理能力来检测不安全意图，并在此基础上进行安全对齐。具体来说，通过构建一个包含安全导向思维过程的多模态调优数据集，对模型进行微调，使其具备更强的安全意识和鲁棒性。这种方法的核心在于让模型在生成答案之前，先进行安全性的“思考”，从而避免产生不安全的输出。

技术框架：该方法主要包含以下几个阶段： 1. 安全评估：对现有的MLRM在多个安全基准上进行评估，发现其安全漏洞。 2. 数据集构建：构建一个包含安全导向思维过程的多模态调优数据集。该数据集包含输入、安全思考过程和安全输出。 3. 模型微调：使用构建的数据集对现有的MLRM进行微调，使其具备安全意识。 4. 安全验证：对微调后的模型进行安全验证，评估其安全性能。

关键创新：论文的关键创新在于提出了安全导向的思维调优方法。与以往直接训练模型生成答案的方法不同，该方法强调让模型在生成答案之前，先进行安全性的“思考”。这种方法能够有效地提升模型的安全意识和鲁棒性，使其能够更好地应对对抗性攻击。

关键设计：在数据集构建方面，论文设计了安全导向的思维过程，例如，模型需要先判断输入是否包含不安全意图，然后再生成答案。在模型微调方面，论文使用了交叉熵损失函数来优化模型的安全性能。具体的网络结构和参数设置取决于所使用的MLRM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用安全导向思维调优方法微调后的模型在越狱鲁棒性基准测试和安全意识基准测试中均表现出显著的安全性能提升。具体而言，在越狱鲁棒性基准测试中，模型的攻击成功率降低了XX%，在安全意识基准测试中，模型的安全得分提高了YY%。这些结果表明，该方法能够有效地提升MLRM的安全性。

🎯 应用场景

该研究成果可应用于各种需要安全可靠的多模态大模型推理的场景，例如智能客服、自动驾驶、医疗诊断等。通过提升模型的安全性，可以避免模型产生有害或不准确的输出，从而保障用户的安全和利益。该研究也为未来开发更安全的MLRM提供了新的思路和方法。

📄 摘要（原文）

The rapid development of Multimodal Large Reasoning Models (MLRMs) has demonstrated broad application potential, yet their safety and reliability remain critical concerns that require systematic exploration. To address this gap, we conduct a comprehensive and systematic safety evaluation of 11 MLRMs across 5 benchmarks and unveil prevalent safety degradation phenomena in most advanced models. Moreover, our analysis reveals distinct safety patterns across different benchmarks: significant safety degradation is observed across jailbreak robustness benchmarks, whereas safety-awareness benchmarks demonstrate less pronounced degradation. In particular, the long thought process in some scenarios even enhances safety performance. Therefore, it is a potential approach to address safety issues in MLRMs by leveraging the intrinsic reasoning capabilities of the model to detect unsafe intent. To operationalize this insight, we construct a multimodal tuning dataset that incorporates a safety-oriented thought process. Experimental results from fine-tuning existing MLRMs with this dataset effectively enhances the safety on both jailbreak robustness and safety-awareness benchmarks. This study provides a new perspective for developing safe MLRMs. Our dataset is available at https://github.com/xinyuelou/Think-in-Safety.