Safe Vision-Language Models via Unsafe Weights Manipulation

📄 arXiv: 2503.11742v2 📥 PDF

作者: Moreno D'Incà, Elia Peruzzo, Xingqian Xu, Humphrey Shi, Nicu Sebe, Massimiliano Mancini

分类: cs.CV, cs.AI

发布日期: 2025-03-14 (更新: 2026-01-12)

备注: WACV 2026

💡 一句话要点

提出UWM：通过操纵不安全权重提升视觉-语言模型安全性，同时保持知识

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉-语言模型 安全性 权重操纵 不安全内容检测 知识保留

📋 核心要点

  1. 现有VLM安全方法主要关注模型对不安全输入的表现，忽略了对安全输入可能造成的负面影响。
  2. 论文提出Unsafe Weights Manipulation (UWM)，通过校准集识别并操纵与不安全内容相关的权重，无需训练即可提升安全性。
  3. 实验表明，UWM在提升VLM对不安全输入安全性的同时，还能保持甚至提升其在安全输入上的性能，优于现有方法。

📝 摘要（中文）

视觉-语言模型(VLM)常常会继承其大规模训练数据集中存在的偏见和不安全关联。虽然最近的方法致力于缓解不安全行为，但它们的评估主要集中在模型对不安全输入的安全性，忽略了模型在安全输入上的潜在缺陷。本文首先通过引入SafeGround来改进安全性评估，SafeGround是一组新的指标，用于在不同粒度级别评估安全性。通过这些指标，我们发现了一个基于训练的方法令人惊讶的问题：它们会降低模型在安全输入上的安全性。基于这一发现，我们采取了不同的方向，探索是否可以在不进行训练的情况下使模型更安全，并提出了不安全权重操纵(UWM)。UWM使用一个安全和不安全实例的校准集来比较安全和不安全内容之间的激活，从而识别出处理后者的最重要参数。然后通过取反来操纵这些参数的值。实验表明，UWM在安全性和知识保留之间实现了最佳的权衡，在不安全查询上持续改进VLM，同时在安全查询上甚至优于基于训练的最新方法。

🔬 方法详解

问题定义：现有的视觉-语言模型（VLM）在大型数据集上训练时，会不可避免地学习到数据集中存在的偏见和不安全关联。虽然已经有一些方法尝试缓解这些问题，但它们主要关注模型在处理不安全输入时的安全性，而忽略了这些方法可能对模型在处理安全输入时的性能产生负面影响。因此，如何既能提高VLM的安全性，又能保持其在安全输入上的性能，是一个亟待解决的问题。

核心思路：论文的核心思路是通过直接操纵模型权重来实现安全性提升，而无需重新训练模型。具体来说，该方法首先识别出对处理不安全内容至关重要的权重，然后通过取反操作来改变这些权重的值，从而降低模型对不安全输入的敏感度。这种方法的关键在于，它避免了重新训练模型可能带来的副作用，例如降低模型在安全输入上的性能。

技术框架：UWM方法主要包含以下几个步骤：1)构建一个包含安全和不安全实例的校准集；2)利用校准集，计算模型在处理安全和不安全实例时的激活值；3)比较安全和不安全实例之间的激活值，识别出对处理不安全内容影响最大的权重；4)对这些权重进行取反操作，从而降低模型对不安全输入的敏感度。

关键创新：UWM方法最重要的创新在于，它提出了一种无需重新训练即可提升VLM安全性的方法。与现有的基于训练的方法相比，UWM方法避免了重新训练可能带来的副作用，例如降低模型在安全输入上的性能。此外，UWM方法还提出了一种新的权重选择策略，该策略能够有效地识别出对处理不安全内容至关重要的权重。

关键设计：UWM方法的关键设计在于权重选择策略和权重操纵方式。权重选择策略通过比较安全和不安全实例之间的激活值，选择出激活差异最大的权重。权重操纵方式则采用简单的取反操作，即对选定的权重乘以-1。这种简单的操纵方式能够有效地降低模型对不安全输入的敏感度，同时避免对模型在安全输入上的性能产生负面影响。论文中没有明确说明具体的激活函数或损失函数，但强调了校准集构建的重要性，需要保证校准集能够充分代表安全和不安全的内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UWM方法在提升VLM安全性的同时，还能保持甚至提升其在安全输入上的性能。具体来说，UWM方法在不安全查询上持续改进VLM，同时在安全查询上甚至优于基于训练的最新方法。这表明UWM方法在安全性和知识保留之间实现了最佳的权衡。

🎯 应用场景

该研究成果可应用于各种需要安全可靠的视觉-语言模型应用场景，例如：智能客服、内容审核、自动驾驶等。通过提高模型对不安全内容的识别和过滤能力，可以有效防止模型产生有害或不当的输出，从而提升用户体验和安全性。此外，该方法无需重新训练模型，具有很高的实用价值和推广潜力。

📄 摘要（原文）

Vision-language models (VLMs) often inherit the biases and unsafe associations present within their large-scale training dataset. While recent approaches mitigate unsafe behaviors, their evaluation focuses on how safe the model is on unsafe inputs, ignoring potential shortcomings on safe ones. In this paper, we first revise safety evaluation by introducing SafeGround, a new set of metrics that evaluate safety at different levels of granularity. With this metric, we uncover a surprising issue of training-based methods: they make the model less safe on safe inputs. From this finding, we take a different direction and explore whether it is possible to make a model safer without training, introducing Unsafe Weights Manipulation (UWM). UWM uses a calibration set of safe and unsafe instances to compare activations between safe and unsafe content, identifying the most important parameters for processing the latter. Their values are then manipulated via negation. Experiments show that UWM achieves the best tradeoff between safety and knowledge preservation, consistently improving VLMs on unsafe queries while outperforming even training-based state-of-the-art methods on safe ones.