LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models

📄 arXiv: 2509.25896v2 📥 PDF

作者: Guolei Huang, Qinzhi Peng, Gan Xu, Yuxuan Lu, Yongjun Shen

分类: cs.CV

发布日期: 2025-09-30 (更新: 2025-10-01)

💡 一句话要点

提出LLaVAShield，用于保障视觉-语言模型中多模态多轮对话的安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 多模态对话 安全审核 对抗攻击 蒙特卡洛树搜索

📋 核心要点

  1. 现有的单轮或单模态审核方法无法有效应对视觉-语言模型多轮交互中潜在的安全风险。
  2. 论文提出LLaVAShield，通过联合检测和评估用户输入和助手响应中的风险，保障多模态多轮对话安全。
  3. 实验表明，LLaVAShield在多模态多轮内容审核任务中优于现有基线方法，达到新的state-of-the-art水平。

📝 摘要（中文）

随着视觉-语言模型(VLMs)进入交互式、多轮使用，出现了单轮或单模态审核遗漏的新安全风险。在多模态多轮(MMT)对话中，恶意意图可以跨轮次和图像传播，而上下文相关的回复可能仍然会推进有害内容。为了应对这一挑战，我们首次系统地定义和研究了MMT对话安全。在此基础上，我们引入了多模态多轮对话安全(MMDS)数据集。我们进一步开发了一种基于蒙特卡洛树搜索(MCTS)的自动化多模态多轮红队框架，用于为MMDS生成不安全的多模态多轮对话。MMDS包含4,484个带注释的多模态对话样本，具有细粒度的安全评级、策略维度标签以及用户和助手基于证据的理由。利用MMDS，我们提出了LLaVAShield，这是一个强大的工具，可以联合检测和评估用户输入和助手响应中的风险。在全面的实验中，LLaVAShield在MMT内容审核任务和动态策略配置下始终优于强大的基线，建立了新的最先进的结果。我们将公开发布数据集和模型，以支持未来的研究。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型在多模态多轮对话中存在的安全问题。现有方法主要集中在单轮或单模态的审核，无法有效识别跨轮次和模态传播的恶意意图，以及上下文相关的有害内容。这导致模型在交互过程中可能产生不安全或有害的回复。

核心思路：论文的核心思路是构建一个能够理解多模态上下文，并能对用户输入和模型回复进行联合安全评估的系统。通过分析对话历史、图像内容以及策略维度，从而准确识别潜在的安全风险。

技术框架：LLaVAShield框架主要包含以下几个模块：1) 多模态多轮对话安全(MMDS)数据集的构建，用于训练和评估模型；2) 基于蒙特卡洛树搜索(MCTS)的自动化红队框架，用于生成不安全的对话样本；3) LLaVAShield模型，用于检测和评估用户输入和助手响应中的风险。整体流程是，首先利用红队框架生成对抗样本，然后使用MMDS数据集训练LLaVAShield模型，最后使用该模型进行安全评估。

关键创新：论文的关键创新在于：1) 首次系统地定义和研究了多模态多轮对话安全问题；2) 构建了MMDS数据集，为该领域的研究提供了基准；3) 提出了基于MCTS的自动化红队框架，能够高效地生成对抗样本；4) LLaVAShield模型能够联合检测和评估用户输入和助手响应中的风险，提高了安全评估的准确性。

关键设计：MMDS数据集包含4,484个带注释的多模态对话样本，具有细粒度的安全评级、策略维度标签以及用户和助手基于证据的理由。MCTS红队框架通过迭代搜索，生成能够绕过安全策略的对话样本。LLaVAShield模型的具体网络结构和损失函数等技术细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LLaVAShield在多模态多轮内容审核任务中取得了显著的性能提升，超越了现有的基线方法，并建立了新的state-of-the-art结果。具体的性能数据和提升幅度在摘要中未明确给出，属于未知信息。论文强调了LLaVAShield在动态策略配置下的优越性能，表明其具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于各种需要安全保障的视觉-语言对话系统，例如智能客服、教育机器人、医疗助手等。通过部署LLaVAShield，可以有效过滤有害信息，防止模型生成不当回复，从而提升用户体验，降低安全风险。未来，该技术还可扩展到其他多模态交互场景，例如自动驾驶、智能家居等。

📄 摘要（原文）

As Vision-Language Models (VLMs) move into interactive, multi-turn use, new safety risks arise that single-turn or single-modality moderation misses. In Multimodal Multi-Turn (MMT) dialogues, malicious intent can be spread across turns and images, while context-sensitive replies may still advance harmful content. To address this challenge, we present the first systematic definition and study of MMT dialogue safety. Building on this formulation, we introduce the Multimodal Multi-turn Dialogue Safety (MMDS) dataset. We further develop an automated multimodal multi-turn red-teaming framework based on Monte Carlo Tree Search (MCTS) to generate unsafe multimodal multi-turn dialogues for MMDS. MMDS contains 4,484 annotated multimodal dialogue samples with fine-grained safety ratings, policy dimension labels, and evidence-based rationales for both users and assistants. Leveraging MMDS, we present LLaVAShield, a powerful tool that jointly detects and assesses risk in user inputs and assistant responses. Across comprehensive experiments, LLaVAShield consistently outperforms strong baselines on MMT content moderation tasks and under dynamic policy configurations, establishing new state-of-the-art results. We will publicly release the dataset and model to support future research.