From Routing Signals to Selective Review: Visual regrounding in MoE VLMs
作者: Hongzhu Guo, Mohsen Fayyaz, Nanyun Peng
分类: cs.CL, cs.CV
发布日期: 2026-09-29
💡 一句话要点
提出基于路由信号的选择性复审框架以解决目标缺失问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 目标缺失检测 混合专家 选择性复审 路由信号 多模态学习 模型可靠性
📋 核心要点
- 现有的视觉语言模型在目标缺失情况下仍能生成错误的回答，导致可靠性问题。
- 本文通过利用混合专家模型中的内部路由决策，提出了一种新的检测目标缺失的方法，能够在生成之前进行选择性修正。
- 实验表明，所提出的方法在多个数据集上显著提高了模型的准确性，Qwen和Gemma模型的性能提升分别达到+22.25%和+12.17%。
📝 摘要（中文）
视觉语言模型（VLMs）可能会接受错误的视觉前提，即使目标对象缺失，仍能回答有关其颜色、数量、位置或状态的问题。这种可靠性关键行为称为目标缺失的基础失败。现有的视觉基础检测器主要依赖生成的响应、隐藏状态或不确定性度量。本文提出了第一个框架，利用混合专家（MoE）VLMs中的内部路由决策，在生成之前检测目标缺失并指导选择性修正。通过提取目标令牌的路由概率，训练了针对每个模型的L2正则化线性检测器，并使用其预测选择性地调用目标感知复审提示。实验结果显示，Qwen和Gemma检测器在GQA-Inpaint上分别达到了0.9988和0.9956的ROC-AUC，并在外部OBER数据集上保持了0.8095和0.7781的性能。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在目标缺失情况下的基础失败问题。现有方法主要依赖生成的响应，导致在目标缺失时产生不可靠的结果。
核心思路：论文的核心思路是利用混合专家模型中的内部路由决策，提前检测目标缺失，并通过选择性复审来修正生成的回答。这种设计能够在不修改模型权重的情况下，利用已有的计算结果进行有效的检测。
技术框架：整体架构包括提取目标令牌的路由概率，训练L2正则化线性检测器，并根据检测结果选择性调用目标感知复审提示。主要模块包括路由概率提取、检测器训练和复审提示生成。
关键创新：最重要的技术创新在于首次将内部路由决策用于目标缺失检测，与现有方法相比，能够在生成之前进行有效的干预，显著提高了模型的可靠性。
关键设计：在参数设置上，采用L2正则化来训练线性检测器，确保模型的泛化能力。网络结构上，利用混合专家模型的早期层中的路由信号，确保信号的局部化和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Qwen和Gemma模型在GQA-Inpaint和OBER数据集上的ROC-AUC分别达到了0.9988和0.9956，且通过路由门控策略，Qwen和Gemma的端到端准确性分别提高了+22.25%和+12.17%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、自动图像标注和多模态交互等。通过提高视觉语言模型在目标缺失情况下的可靠性，能够显著提升用户体验和系统的实用性，未来可能在教育、医疗和自动驾驶等领域产生深远影响。
📄 摘要（原文）
Vision-language models (VLMs) may accept false visual premises, answering questions about a target object's color, count, location, or state even when it is absent. We call this reliability-critical behavior a target-absence grounding failure. Existing visual-grounding detectors primarily rely on generated responses, hidden states, or uncertainty measures. We present the first framework to leverage internal routing decisions in Mixture-of-Experts (MoE) VLMs to detect target absence before generation and guide selective correction. We extract target-token routing probabilities from Qwen3-VL-30B-A3B-Instruct and Gemma-4-26B-A4B-it, train a separate L2-regularized linear detector for each model, and use its predictions to selectively invoke a target-aware review prompt. Using routing alone, the Qwen and Gemma detectors achieve ROC-AUCs of 0.9988 and 0.9956 on GQA-Inpaint and retain 0.8095 and 0.7781 on the external OBER dataset, respectively. The resulting routing-gated policy improves end-to-end accuracy on GQA-Inpaint and OBER by +22.25% and +12.17% for Qwen, and by +13.42% and +1.39% for Gemma, without modifying model weights. Further analysis shows that the signal is localized to the target-object token, emerges in early MoE layers, and is distributed across partially substitutable experts. Although cross-dataset threshold shifts require recalibration, false-positive review causes limited harm overall, suggesting that intervention risk can be controlled through joint selection of the detector threshold and review prompt. Overall, we show that routing probabilities alone preserve actionable information about visual perception, allowing computation already produced by an MoE VLM to support low-cost detection and selective visual regrounding.