ProGuard: Towards Proactive Multimodal Safeguard
作者: Shaohan Yu, Lijun Li, Chenyang Si, Lu Sheng, Jing Shao
分类: cs.CV
发布日期: 2025-12-29
💡 一句话要点
提出ProGuard，一种主动式多模态安全防护方法，用于识别和描述分布外安全风险。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态安全 主动防御 视觉-语言模型 强化学习 分布外检测 风险描述 生成模型安全
📋 核心要点
- 现有生成模型面临多模态安全风险，传统防御方法依赖模型调整，难以应对不断涌现的分布外风险。
- ProGuard通过构建模态平衡数据集和强化学习，训练视觉-语言模型，实现对未知安全风险的主动识别和描述。
- 实验表明，ProGuard在OOD风险检测和描述方面显著优于现有开源模型，提升分别达到52.6%和64.8%。
📝 摘要（中文）
生成模型快速发展导致多模态安全风险不断涌现，现有防御方法存在局限性。为应对这些挑战，我们提出了ProGuard，一种视觉-语言主动防护方法，用于识别和描述分布外(OOD)安全风险，无需传统被动方法所需的模型调整。我们首先构建了一个包含87K样本的模态平衡数据集，每个样本都标注了二元安全标签和分层多模态安全分类下的风险类别，有效缓解了模态偏差，并确保了文本、图像和文本-图像输入的一致审核。基于此数据集，我们完全通过强化学习(RL)训练视觉-语言基础模型，以实现高效简洁的推理。为了在受控环境中近似主动安全场景，我们进一步引入了OOD安全类别推断任务，并通过基于同义词库的相似性奖励来增强RL目标，鼓励模型为未见过的非安全类别生成简洁的描述。实验结果表明，ProGuard在二元安全分类方面达到了与闭源大型模型相当的性能，并在不安全内容分类方面显著优于现有的开源防护模型。最值得注意的是，ProGuard提供了强大的主动审核能力，将OOD风险检测提高了52.6%，OOD风险描述提高了64.8%。
🔬 方法详解
问题定义：论文旨在解决生成模型中日益增长的多模态安全风险，特别是分布外（OOD）的安全风险。现有的防御方法通常是被动的，需要针对特定类型的风险进行模型调整，无法有效应对不断涌现的新型安全威胁。这些方法也常常存在模态偏差，即在处理不同模态（文本、图像）的输入时表现不一致。
核心思路：ProGuard的核心思路是构建一个主动式的安全防护系统，该系统能够识别和描述未知的安全风险，而无需针对特定风险进行模型调整。通过强化学习训练视觉-语言模型，使其能够理解不同模态的安全风险，并生成简洁的描述，从而实现对OOD安全风险的有效检测和分类。
技术框架：ProGuard的整体框架包括以下几个主要模块：1)模态平衡数据集构建：构建包含文本、图像和文本-图像组合的平衡数据集，并进行二元安全标签和风险类别标注。2)视觉-语言基础模型训练：使用强化学习训练视觉-语言模型，使其能够理解和推理安全风险。3)OOD安全类别推断任务：引入OOD安全类别推断任务，模拟主动安全场景。4)相似性奖励：使用基于同义词库的相似性奖励，鼓励模型为未见过的非安全类别生成简洁的描述。
关键创新：ProGuard的关键创新在于其主动式的安全防护方法。与传统的被动防御方法不同，ProGuard能够识别和描述未知的安全风险，而无需针对特定风险进行模型调整。此外，ProGuard还通过构建模态平衡数据集和使用强化学习，有效缓解了模态偏差，并提高了模型的推理能力。
关键设计：ProGuard的关键设计包括：1)模态平衡数据集：确保文本、图像和文本-图像组合的样本数量均衡，避免模态偏差。2)分层多模态安全分类：采用分层结构对安全风险进行分类，提供更细粒度的风险描述。3)强化学习目标：使用强化学习训练视觉-语言模型，优化模型的推理能力和描述生成能力。4)相似性奖励：使用基于同义词库的相似性奖励，鼓励模型为未见过的非安全类别生成简洁的描述。
🖼️ 关键图片
📊 实验亮点
ProGuard在二元安全分类方面达到了与闭源大型模型相当的性能，并在不安全内容分类方面显著优于现有的开源防护模型。最重要的是，ProGuard在OOD风险检测方面提升了52.6%，在OOD风险描述方面提升了64.8%，展示了其强大的主动审核能力。
🎯 应用场景
ProGuard可应用于各种生成模型，例如文本生成、图像生成和多模态生成模型，以提高其安全性。该研究成果具有重要的实际价值，可以有效减少恶意内容生成和传播，保护用户免受潜在的安全风险。未来，ProGuard可以进一步扩展到更广泛的安全领域，例如网络安全和信息安全。
📄 摘要（原文）
The rapid evolution of generative models has led to a continuous emergence of multimodal safety risks, exposing the limitations of existing defense methods. To address these challenges, we propose ProGuard, a vision-language proactive guard that identifies and describes out-of-distribution (OOD) safety risks without the need for model adjustments required by traditional reactive approaches. We first construct a modality-balanced dataset of 87K samples, each annotated with both binary safety labels and risk categories under a hierarchical multimodal safety taxonomy, effectively mitigating modality bias and ensuring consistent moderation across text, image, and text-image inputs. Based on this dataset, we train our vision-language base model purely through reinforcement learning (RL) to achieve efficient and concise reasoning. To approximate proactive safety scenarios in a controlled setting, we further introduce an OOD safety category inference task and augment the RL objective with a synonym-bank-based similarity reward that encourages the model to generate concise descriptions for unseen unsafe categories. Experimental results show that ProGuard achieves performance comparable to closed-source large models on binary safety classification, substantially outperforms existing open-source guard models on unsafe content categorization. Most notably, ProGuard delivers a strong proactive moderation ability, improving OOD risk detection by 52.6% and OOD risk description by 64.8%.