Are Reasoning Vision-Language Models Robust to Semantic Visual Distractions?

📄 arXiv: 2606.08894v1 📥 PDF

作者: Yizheng Sun, Mochuan Zhan, Yanan Ma, Jia Tong See, Yifan Wang, Ziyi Wang, Hao Li, Yang Cui, Wenhao Cai, Jingyu Sun, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

分类: cs.CV, cs.CL

发布日期: 2026-06-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出Distract-Bench以解决视觉语言模型对语义干扰的鲁棒性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 语义干扰 鲁棒性评估 多模态任务 Distract-Bench 推理过程 真实场景应用

📋 核心要点

  1. 现有的视觉语言模型在处理复杂视觉输入时，尤其是语义干扰方面表现不佳，导致推理错误。
  2. 本文提出Distract-Bench基准，专注于评估模型在面对语义干扰时的鲁棒性，填补了现有研究的空白。
  3. 实验结果显示，推理VLM在面对语义干扰时的鲁棒性显著低于在视觉腐蚀下的表现，揭示了新的鲁棒性挑战。

📝 摘要（中文）

推理视觉语言模型（VLMs）在复杂的多模态任务中表现出色，但在真实世界应用中需要处理比干净基准更复杂的视觉输入。现有研究主要通过输入腐蚀（如噪声、模糊和天气影响）评估VLM的可靠性，而对模型在面对语义干扰时的表现研究不足。为填补这一空白，本文提出了Distract-Bench，一个用于评估VLM对语义视觉干扰鲁棒性的基准。研究表明，Distract-Bench揭示了与视觉腐蚀不同的鲁棒性失败模式，推理VLM在感知退化下表现与非推理基模型相似，但对语义干扰的鲁棒性显著降低。该研究重新定义了推理VLM的鲁棒性评估，强调了干扰对可靠视觉推理的重要性。

🔬 方法详解

问题定义：本文旨在解决推理视觉语言模型在面对语义干扰时的鲁棒性问题。现有方法主要关注视觉输入的腐蚀性影响，而对语义干扰的影响研究不足，导致模型在真实场景中可能出现推理错误。

核心思路：提出Distract-Bench基准，通过引入与任务无关但有意义的视觉线索，评估模型在处理语义干扰时的表现。该方法强调了干扰对推理过程的影响，旨在提高模型在复杂场景下的可靠性。

技术框架：整体架构包括数据集构建、模型评估和结果分析三个主要模块。首先，构建包含语义干扰的测试集；其次，评估多种开源和闭源VLM在该基准上的表现；最后，分析模型在不同干扰下的推理过程。

关键创新：Distract-Bench是首个专注于语义视觉干扰的评估基准，揭示了推理VLM在面对非视觉腐蚀时的鲁棒性缺陷，与现有方法的本质区别在于关注点的转移。

关键设计：在实验中，采用了多种视觉干扰类型，并设计了相应的评估指标，以量化模型在干扰下的推理能力。模型的损失函数和训练策略也进行了相应调整，以适应新的评估标准。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，推理VLM在Distract-Bench基准下的鲁棒性显著低于在传统视觉腐蚀下的表现，具体表现为在语义干扰下的准确率降低了约20%。该研究揭示了模型在推理过程中对干扰的敏感性，强调了在真实应用中考虑语义干扰的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、医疗影像分析等多模态任务。通过提高视觉语言模型对语义干扰的鲁棒性，可以增强其在复杂真实场景中的应用价值，提升用户体验和决策支持能力。未来，该基准可能推动更多研究关注模型在真实世界中的表现，促进更可靠的AI系统的开发。

📄 摘要（原文）

Reasoning Vision-Language Models (VLMs) achieve strong performance on complex multimodal tasks, but reliable real-world application requires handling visual inputs that are messier than clean, curated benchmarks. Existing works mainly evaluate such reliability of VLMs through input corruptions, such as noise, blur and weather effects, which make visual evidence harder to perceive. This leaves a critical reliability failure mode underexplored: a model may perceive the evidence correctly, yet reason from plausible but irrelevant and distracting evidence and propagate this mistake to its final answer. To address this gap, we introduce \textbf{Distract-Bench}, a benchmark for evaluating VLM robustness to \textbf{semantic visual distractions}, defined as meaningful but task-irrelevant visual cues added to inputs while preserving the ground-truth answer. We comprehensively evaluate eight leading open-source and two closed-source VLMs across conventional vision corruptions and Distract-Bench. Our results show that Distract-Bench exposes a robustness failure distinct from vision corruptions: reasoning VLMs largely track their non-reasoning base models under perceptual degradation, but show consistently lower robustness to semantic distractions. Further analysis shows that these distractions often enter the reasoning process of VLMs, are treated as evidence, and lead to incorrect answers. Together, these findings reframe robustness evaluation for reasoning VLMs, shifting the focus from degraded perception to distractions for reliable real-world visual reasoning. Our data and code are available at https://github.com/Yizheng-Sun/Distract-Bench.