Analysing the Robustness of Vision-Language-Models to Common Corruptions

📄 arXiv: 2504.13690v2 📥 PDF

作者: Muhammad Usama, Syeda Aishah Asim, Syed Bilal Ali, Syed Talal Wasim, Umair Bin Mansoor

分类: cs.CV

发布日期: 2025-04-18 (更新: 2025-04-21)

备注: arXiv admin note: text overlap with arXiv:2304.10592, arXiv:2301.12597 by other authors

💡 一句话要点

分析视觉-语言模型在常见图像损坏下的鲁棒性，揭示Transformer的频率偏置。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉-语言模型 鲁棒性分析 图像损坏 Transformer 频率偏置 TextVQA GQA

📋 核心要点

  1. 现有视觉-语言模型在真实场景中，面对图像损坏时鲁棒性不足，限制了其应用。
  2. 通过分析VLM在不同类型图像损坏下的性能，揭示其脆弱性模式与频率偏置的关系。
  3. 构建TextVQA-C和GQA-C基准，系统评估损坏对场景文本理解和对象推理的影响。

📝 摘要（中文）

视觉-语言模型(VLM)在理解和推理视觉及文本内容方面表现出令人印象深刻的能力。然而，它们对常见图像损坏的鲁棒性仍未得到充分研究。本文对VLM在ImageNet-C基准测试中的19种损坏类型（涵盖噪声、模糊、天气和数字失真四大类）的鲁棒性进行了首次全面分析。我们引入了两个新的基准测试TextVQA-C和GQA-C，以系统地评估损坏如何影响场景文本理解和基于对象的推理。分析表明，基于Transformer的VLM在不同任务中表现出不同的脆弱性模式：文本识别在模糊和雪地损坏下恶化最严重，而对象推理对霜冻和脉冲噪声等损坏更为敏感。我们将这些观察结果与不同损坏的频域特征联系起来，揭示了Transformer固有的低频处理偏置如何解释其不同的鲁棒性模式。我们的发现为开发更具鲁棒性的视觉-语言模型以用于实际应用提供了宝贵的见解。

🔬 方法详解

问题定义：现有视觉-语言模型在理想条件下表现出色，但在实际应用中，图像常常受到各种损坏（如噪声、模糊、天气影响等）的影响，导致模型性能显著下降。现有研究对VLM在这些常见损坏下的鲁棒性分析不足，缺乏系统性的评估和理解。

核心思路：本文的核心思路是通过系统性地评估VLM在不同类型图像损坏下的性能，揭示其脆弱性模式。同时，将这些脆弱性模式与Transformer架构固有的频率偏置联系起来，解释VLM对不同损坏的敏感性差异。

技术框架：本文构建了两个新的基准测试：TextVQA-C和GQA-C，分别用于评估VLM在损坏图像下的场景文本理解和对象推理能力。研究人员使用ImageNet-C中的19种损坏类型，涵盖噪声、模糊、天气和数字失真四大类，对多个VLM模型进行测试。通过分析模型在不同损坏下的性能变化，以及损坏的频域特征，揭示VLM的鲁棒性模式。

关键创新：本文最重要的创新在于将VLM的鲁棒性与Transformer架构的频率偏置联系起来。研究发现，Transformer更倾向于处理低频信息，因此对高频噪声等损坏更为敏感。这一发现为设计更具鲁棒性的VLM提供了新的思路。

关键设计：本文的关键设计包括：1) 构建TextVQA-C和GQA-C基准，用于系统评估VLM在损坏图像下的性能；2) 使用ImageNet-C中的19种损坏类型，全面覆盖常见的图像损坏情况；3) 分析损坏的频域特征，并将其与VLM的鲁棒性联系起来；4) 评估多个VLM模型，包括基于Transformer的模型，以验证研究结果的普适性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于Transformer的VLM在不同任务中表现出不同的脆弱性模式。例如，文本识别在模糊和雪地损坏下恶化最严重，而对象推理对霜冻和脉冲噪声等损坏更为敏感。研究还发现，Transformer固有的低频处理偏置解释了其不同的鲁棒性模式。

🎯 应用场景

该研究成果可应用于开发更可靠的视觉-语言模型，提升其在自动驾驶、机器人导航、智能监控等实际场景中的性能。通过理解VLM的脆弱性，可以针对性地设计数据增强、对抗训练等方法，提高模型的鲁棒性，使其更好地适应真实世界的复杂环境。

📄 摘要（原文）

Vision-language models (VLMs) have demonstrated impressive capabilities in understanding and reasoning about visual and textual content. However, their robustness to common image corruptions remains under-explored. In this work, we present the first comprehensive analysis of VLM robustness across 19 corruption types from the ImageNet-C benchmark, spanning four categories: noise, blur, weather, and digital distortions. We introduce two new benchmarks, TextVQA-C and GQA-C, to systematically evaluate how corruptions affect scene text understanding and object-based reasoning, respectively. Our analysis reveals that transformer-based VLMs exhibit distinct vulnerability patterns across tasks: text recognition deteriorates most severely under blur and snow corruptions, while object reasoning shows higher sensitivity to corruptions such as frost and impulse noise. We connect these observations to the frequency-domain characteristics of different corruptions, revealing how transformers' inherent bias toward low-frequency processing explains their differential robustness patterns. Our findings provide valuable insights for developing more corruption-robust vision-language models for real-world applications.