Multimodal Safety Evaluation Should Measure Controllability Beyond Classification
作者: Junhyeong Park, Hanwool Lee, DongGeon Lee, Dasol Choi, Yejin Son, Haon Park, Youngjae Yu
分类: cs.AI
发布日期: 2026-10-05
💡 一句话要点
提出多模态安全评估方法以超越分类测量可控性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态安全评估 可控性特征 行为分类 隐式毒性 模型内部信号
📋 核心要点
- 现有的多模态安全评估方法主要依赖于输入和输出的分类，无法有效评估模型内部的可控性。
- 本文提出了一种新的评估框架，结合可控性特征与行为分类，强调内部信号的干预测试能力。
- 实验结果显示，LlavaGuard和Qwen3.5在可控性和安全性方面表现不同，揭示了内部读出与可控性的潜在差异。
📝 摘要（中文）
多模态安全评估通常通过输入和输出级别的分类进行，但这种分类无法揭示安全状态在模型内部是否可达或可控。本文主张多模态安全评估应报告可控性特征，与行为分类相结合，区分表示级可检测性、跨模态特异性、干预敏感性和良性保留选择性。通过隐式毒性作为压力测试案例，本文在LlavaGuard和Qwen3.5上实例化了这一特征。结果表明，LlavaGuard具有局部控制手段，但干预范围狭窄，安全增益适中；而Qwen3.5支持强表示级读出，但在测试操作下缺乏相应的选择性控制机制。这些结果表明内部读出与可控性可能存在差异，未来的多模态安全基准应同时报告行为安全指标和安全相关内部信号的干预测试与控制能力。
🔬 方法详解
问题定义：本文旨在解决现有多模态安全评估方法仅依赖分类而忽视模型内部可控性的问题。现有方法无法有效评估安全状态的可达性和可控性，导致安全性评估不全面。
核心思路：论文提出在多模态安全评估中引入可控性特征，强调在行为分类的基础上，需关注模型内部信号的干预测试和控制能力。通过构建可控性特征，能够更全面地评估模型的安全性。
技术框架：整体架构包括四个主要模块：表示级可检测性、跨模态特异性、干预敏感性和良性保留选择性。通过对这些模块的评估，形成一个综合的可控性特征档案。
关键创新：最重要的技术创新在于引入了可控性特征的概念，强调了内部信号的干预测试能力。这与传统的仅依赖行为分类的评估方法本质上不同，提供了更深入的安全性分析。
关键设计：在实验中，采用稀疏特征分解技术对LlavaGuard和Qwen3.5进行评估，设置了局部控制手段和干预范围的参数，确保能够有效测量模型的安全性和可控性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LlavaGuard在局部控制方面表现出较好的安全性增益，但干预范围较窄；而Qwen3.5则在表示级读出上表现强劲，但缺乏有效的选择性控制机制。这些发现揭示了内部读出与可控性之间的差异，为未来的多模态安全基准提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括人工智能系统的安全性评估、自动驾驶汽车的决策系统以及多模态交互系统。通过提供更全面的安全评估方法，可以提高这些系统在实际应用中的安全性和可靠性，降低潜在风险。
📄 摘要（原文）
VLM safety is commonly evaluated through input- and output-level classification. Such classification is necessary, but it does not reveal whether a safety state is accessible or controllable inside the model. We argue that multimodal safety evaluation should therefore report a \emph{controllability profile} alongside behavioral classification, separating representation-level detectability, cross-modal specificity, intervention sensitivity, and benign-preserving selectivity. Using implicit toxicity as a stress case, we instantiate this profile on LlavaGuard and Qwen3.5 with sparse feature decompositions. LlavaGuard admits localized handles with a narrow benign-preserving intervention range and modest downstream safety gains, whereas Qwen3.5 supports strong representation-level readout but no comparable selective-control regime under the tested operators. These results show that internal readout and controllability can diverge. Future multimodal safety benchmarks should therefore report not only behavioral safety metrics, but also whether safety-relevant internal signals can be intervention-tested and controlled within a validated operating range.