Reading, Not Manipulating: Leveraging Router Logits for Multimodal Safety in MoE Vision-Language Models
作者: Ziyuan Yang, Wenxuan Ding, Shangbin Feng, Yulia Tsvetkov
分类: cs.CL
发布日期: 2026-10-06
备注: 15 pages, 4 tables, 11 figures
💡 一句话要点
提出路由日志检测器以提升多模态安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 多模态安全 路由日志 混合专家 安全检测器 模型干预 生成预警
📋 核心要点
- 现有的安全干预方法在不同模型和评估分布上效果不一致，且可能导致安全与效用的权衡。
- 本文提出了一种基于路由日志的安全检测器，通过读取路由信号来识别不安全的多模态输入。
- 实验表明，该检测器在HoliSafe基准测试中显著降低了安全错误，并在不同的安全基准上表现出良好的泛化能力。
📝 摘要（中文）
视觉语言模型（VLMs）面临组合安全风险，尤其是在视觉与文本输入交互时可能产生有害意图。尽管混合专家（MoE）VLMs的安全干预措施不断增加，但现有方法在模型和评估分布上的效果不一致，且对模型行为的干预可能导致安全与效用的权衡。本文提出了一种轻量级的路由日志安全检测器，通过读取路由信号来识别不安全请求，从而在生成之前进行预警，避免了对模型参数或专家路由的修改。实验结果表明，该检测器在HoliSafe基准测试中显著减少了安全错误，并在不同安全模式的分布外基准测试中表现出良好的泛化能力。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在处理多模态输入时可能出现的安全风险，现有方法在不同模型和评估分布上的效果不一致，且对模型内部状态的干预可能导致安全与效用的权衡。
核心思路：论文提出了一种轻量级的路由日志安全检测器，利用路由信号作为诊断信号来识别不安全请求，而不是直接操控模型的内部状态。
技术框架：整体架构包括路由日志的读取模块和安全检测模块。在生成之前，检测器会分析路由信号并判断输入的安全性。
关键创新：最重要的创新在于利用路由日志作为安全信号，而不是通过修改模型参数或专家路由来干预模型行为，这种方法简单有效且不具侵入性。
关键设计：检测器的设计中，路由日志的读取过程是核心，确保在生成前能够准确识别不安全请求，具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的路由日志安全检测器在HoliSafe基准测试中显著减少了安全错误，且在MISHard和MM-SafetyBench等分布外基准测试中表现出良好的泛化能力，证明了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自动内容生成、社交媒体监控和在线教育等，能够有效提升多模态系统的安全性，减少有害内容的生成。未来，该方法可能为多模态模型的安全性提供新的思路和框架，推动相关技术的进一步发展。
📄 摘要（原文）
Vision-language models (VLMs) face compositional safety risks where harmful intent emerges from the interaction between visual and textual inputs. As mixture-of-experts (MoE) VLMs become increasingly common, recent work has explored various safety interventions, including prompting, supervised fine-tuning, and routing-based expert steering. However, these methods show inconsistent improvements across models and evaluation distributions, and the intervention into model behavior or internal states introduce safety-utility tradeoffs by over-refusal. Rather than manipulating internal states to steer model behavior, we instead ask whether routing states can serve as diagnostic signals for multimodal safety. We find that router logits indeed provide highly predictive signals of whether a multimodal input is safe or not. Motivated by this observation, we introduce a lightweight router-logit safety detector that reads out routing signals during prompt prefill and identifies unsafe requests before generation, without modifying model parameters or expert routing. Across Qwen3-VL and Kimi-VL, the proposed detector substantially reduces safety errors on the HoliSafe benchmark and resoundingly generalizes to out-of-distribution safety benchmarks featuring different safety patterns, including MISHard and MM-SafetyBench. The success of the proposed router-logit detector also suggests a broader perspective on model internals: rather than focusing only on manipulating internal components to steer behavior, simply reading naturally emerging signals and linking them to an external safety mechanism can provide a simple, effective, and non-intrusive complement to existing safety interventions.