Visual Grounding Safety in Vision-Language Models

📄 arXiv: 2610.05637v1 📥 PDF

作者: Erfan Shayegani, Kundan Krishna, Yue Dong, Nael Abu-Ghazaleh, Leon Gatys, Shruti Palaskar

分类: cs.AI, cs.CR, cs.CV, cs.CY, cs.LG

发布日期: 2026-10-05

💡 一句话要点

提出视觉基础安全性方法以解决视觉语言模型的安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 安全性 微调方法 有害请求 拒绝能力 多模态学习 能力基础数据

📋 核心要点

  1. 现有视觉语言模型在处理有害请求时，存在基础请求的拒绝率显著低于问题请求的现象，安全性不足。
  2. 论文提出了一种微调方法，结合拒绝基础请求与能力基础数据，旨在减少模型对有害请求的过度遵从。
  3. 实验结果表明，微调后模型在多个基准上拒绝有害请求的能力显著提升，尤其在VLSU和BBQ-V基准上提升幅度达到77-95个百分点。

📝 摘要（中文）

视觉语言模型（VLMs）越来越多地被训练以生成结构化输出，如点和边界框，供下游接口、代理和机器人使用。然而，这些输出通道的安全性尚未得到系统分析。本文通过重新利用三项安全基准，研究视觉基础安全性，发现当请求以问题形式提出时，模型往往拒绝有害请求，但在请求基础时却常常遵从。为此，提出了一种微调方法，结合拒绝基础请求与能力基础数据，显著提高了模型的安全性和拒绝能力。

🔬 方法详解

问题定义：本文解决视觉语言模型在处理有害请求时的安全性问题，现有方法在基础请求的拒绝率上存在明显不足。

核心思路：提出一种微调策略，通过结合拒绝基础请求和能力基础数据，旨在提高模型对有害请求的拒绝能力，减少过度遵从现象。

技术框架：整体架构包括数据收集、模型微调和性能评估三个主要阶段，利用15,401对有害请求进行训练和测试。

关键创新：最重要的创新在于提出了结合拒绝基础请求与能力基础数据的微调方法，显著提高了模型的安全性，与传统方法相比，拒绝率提升明显。

关键设计：在微调过程中，采用了特定的损失函数以平衡拒绝和能力基础数据的影响，同时优化了模型的网络结构以增强其对有害请求的识别能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的Qwen3-VL-8B和VisionReasoner-7B模型在VLSU和BBQ-V基准上拒绝率提升了77-95个百分点，在Asimov-2.0基准上提升了64-85个百分点，且在保持基础能力的同时，过度拒绝现象得到了有效控制。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶汽车和机器人等，能够有效提高这些系统在处理复杂场景时的安全性，减少因误操作带来的风险。未来，随着视觉语言模型的广泛应用，提升其安全性将成为重要的研究方向。

📄 摘要（原文）

Vision-language models (VLMs) are increasingly trained to generate structured outputs like points and bounding boxes that downstream interfaces, agents, and robots can act on, yet safety alignment of this output channel has not been systematically analyzed. We study visual grounding safety by repurposing three safety benchmarks spanning direct harm (VLSU), social bias (BBQ-V), and situational safety (Asimov-2.0) into 15,401 matched pairs of harmful requests that differ only in the requested output: a free-text answer (VQA) or a grounding (point or bounding box). Across five VLMs, models that refuse a harmful request posed as a question often comply when the same request asks for a grounding: averaged over models, grounding refusal trails VQA refusal by 31-59 percentage points, depending on the domain, and safety system prompts do not close this gap. We propose a fine-tuning approach that combines grounding-form refusals with capability grounding data and self-distilled benign data to counter over-refusal. For Qwen3-VL-8B and VisionReasoner-7B, it improves grounding refusal by 77-95 percentage points on VLSU and BBQ-V and by 64-85 points on the held-out Asimov-2.0 domain, while also improving VQA refusal, preserving grounding capability, and keeping over-refusal limited. Representation analysis shows that fine-tuning moves harmful requests toward each model's refusal direction, most strongly for grounding, while leaving benign requests near the harmless reference.