When Reasoning Is Not Enough: Proactive Inquiry for Cross-Modal Safety in Multimodal Large Language Models

📄 arXiv: 2610.22068v1 📥 PDF

作者: Wei Cai, Jian Zhao, Yuchen Yuan, Xuelong Li

分类: cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出SAFE-PRO以解决多模态大语言模型的安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 安全性 风险评估 跨模态融合 澄清问题生成

📋 核心要点

  1. 现有多模态大语言模型在处理图像和文本时可能导致不安全的联合解释，存在隐含推理和意图级风险。
  2. 本文提出SAFE-PRO，通过风险条件不确定性信号来决定何时询问澄清问题，优化模型的安全性。
  3. 实验结果表明，SAFE-PRO在安全性上显著优于SRPO，且在单轮安全性上超越了GPT-4o和Claude-3.5-Sonnet。

📝 摘要（中文）

多模态大语言模型（MLLMs）在将单独无害的图像和文本联合解释时可能表现出不安全的行为。除了隐含推理风险外，本文还识别了意图级风险，即跨模态模糊性使模型默默承诺于危险前提，单靠路径优化无法纠正。为此，本文提出了SAFE-PRO，利用风险条件不确定性（RCU）信号，结合预测熵与学习的跨模态风险评分，以决定何时提出安全相关的澄清问题以及何处应用路径优化。我们还构建了SSUI-Dialog，一个具有双重意图监督的多模态多轮数据集，并在理论上分析了RCU下的梯度方差和不安全完成风险。在七个基准和两个基础MLLMs上，SAFE-PRO在安全性上始终优于SRPO，几乎减半了过度拒绝，并在单轮安全性上超越了GPT-4o和Claude-3.5-Sonnet。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在图像和文本联合解释时的安全性问题，现有方法在处理跨模态模糊性时存在意图级风险，无法有效防止模型承诺于危险前提。

核心思路：SAFE-PRO通过引入风险条件不确定性（RCU）信号，结合预测熵和跨模态风险评分，来判断何时需要提出安全相关的澄清问题，从而提高模型的安全性。

技术框架：SAFE-PRO的整体架构包括风险评估模块、澄清问题生成模块和路径优化模块。风险评估模块负责计算RCU信号，澄清问题生成模块在必要时提出问题，而路径优化模块则在模型输出不安全时进行优化。

关键创新：本文的主要创新在于引入了风险条件不确定性信号（RCU），这一信号结合了预测熵和跨模态风险评分，能够有效识别何时需要进行澄清，从而显著提升模型的安全性。

关键设计：在设计中，RCU信号的计算涉及多个参数设置，包括预测熵的权重和跨模态风险评分的学习机制。此外，损失函数中对安全性的优先考虑和对过度拒绝的惩罚设计也是关键细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SAFE-PRO在七个基准测试中均优于SRPO，安全性提升显著，过度拒绝率减少近50%。在单轮安全性评估中，SAFE-PRO超越了GPT-4o和Claude-3.5-Sonnet，展示了其在多模态安全性上的优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗诊断和人机交互等场景，能够有效提高多模态系统在复杂环境下的安全性。未来，SAFE-PRO的设计理念可以推广到其他类型的多模态模型中，进一步提升其安全性和可靠性。

📄 摘要（原文）

Multimodal large language models (MLLMs) can act unsafely when individually benign images and texts are interpreted jointly. Beyond implicit reasoning risk, where reasoning drifts toward harm, we identify intent-level risk, where cross-modal ambiguity silently commits the model to a hazardous premise that path-level optimization alone cannot correct. We propose SAFE-PRO, which uses a Risk-Conditioned Uncertainty (RCU) signal, combining predictive entropy with a learned cross-modal risk score, to decide when to ask safety-grounded clarifying questions and where to apply path optimization, under a reward that prioritizes safety and penalizes over-refusal. We also build SSUI-Dialog, a multimodal multi-turn dataset with dual-intent supervision, and theoretically analyze gradient variance and unsafe-completion risk under RCU. Across seven benchmarks and two base MLLMs, SAFE-PRO consistently improves safety over SRPO, roughly halves its over-refusal, and surpasses GPT-4o and Claude-3.5-Sonnet in average single-turn safety.