Unveiling the Lack of LVLM Robustness to Fundamental Visual Variations: Why and Path Forward

📄 arXiv: 2504.16727v3 📥 PDF

作者: Zhiyuan Fan, Yumeng Wang, Sandeep Polisetty, Yi R. Fung

分类: cs.CV, cs.AI

发布日期: 2025-04-23 (更新: 2025-06-02)

备注: Accepted to ACL 2025 Findings

💡 一句话要点

揭示LVLM对基本视觉变化的鲁棒性不足，并提出改进方向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型视觉语言模型 视觉变化鲁棒性 基准测试 组件级分析 多模态对齐

📋 核心要点

  1. 现有LVLM在视觉变化（位置、尺度、方向等）下的鲁棒性不足，限制了其在真实场景中的应用。
  2. 提出V$^2$R-Bench基准框架，包含自动数据集生成和鲁棒性评估指标，用于全面评估LVLM的视觉变化鲁棒性。
  3. 实验表明，现有LVLM对视觉变化非常敏感，即使在简单的物体识别任务中也表现不佳，并存在视觉位置偏差。

📝 摘要（中文）

大型视觉语言模型(LVLM)在各种视觉-语言任务中表现出色。然而，由于视角和环境的变化，自然场景中的物体不可避免地会表现出位置、尺度、方向和上下文等视觉变化，而LVLM对此的鲁棒性在很大程度上尚未被探索。为了弥补这一差距，我们引入了V$^2$R-Bench，这是一个全面的基准框架，用于评估LVLM的视觉变化鲁棒性，它包括自动评估数据集生成和用于彻底鲁棒性评估的原则性指标。通过对21个LVLM的广泛评估，我们揭示了对视觉变化的惊人脆弱性，即使在复杂的视觉-语言任务中表现出色的先进模型，在简单的任务（如物体识别）上也表现不佳。有趣的是，这些模型表现出与有效感受野理论相悖的独特的视觉位置偏差，并表现出类似人类的视觉敏锐度阈值。为了确定这些脆弱性的来源，我们提出了一个用于组件级分析的系统框架，其中包含用于对齐视觉特征的新型可视化方法。结果表明，这些脆弱性源于pipeline架构中的误差累积和多模态对齐不足。使用合成数据的补充实验进一步表明，这些限制从根本上说是架构缺陷，因此需要在未来的LVLM设计中进行架构创新。

🔬 方法详解

问题定义：现有的大型视觉语言模型（LVLM）在处理自然场景中由于视角、光照等因素引起的物体位置、尺度、方向和上下文变化时，鲁棒性不足。这限制了它们在实际应用中的可靠性。现有方法缺乏针对这些视觉变化的系统性评估和分析，难以指导模型改进。

核心思路：论文的核心思路是构建一个全面的基准测试框架，用于系统地评估LVLM在不同视觉变化下的鲁棒性。通过分析模型在不同组件上的表现，找出导致鲁棒性不足的根本原因，并为未来的模型设计提供指导。

技术框架：V$^2$R-Bench框架包含以下几个主要模块：1) 自动数据集生成：生成包含不同视觉变化（位置、尺度、方向、上下文）的图像数据集。2) 鲁棒性评估指标：设计了一系列指标，用于量化LVLM在不同视觉变化下的性能。3) 组件级分析：通过可视化对齐的视觉特征，分析LVLM pipeline中各个组件的性能，找出误差累积和多模态对齐不足的问题。

关键创新：该论文的关键创新在于：1) 提出了一个全面的基准测试框架V$^2$R-Bench，用于系统地评估LVLM的视觉变化鲁棒性。2) 通过组件级分析，揭示了LVLM鲁棒性不足的根本原因，包括pipeline架构中的误差累积和多模态对齐不足。3) 发现LVLM存在与有效感受野理论相悖的视觉位置偏差。

关键设计：在数据集生成方面，论文设计了自动化的流程，可以控制图像中物体的位置、尺度、方向和上下文等因素。在鲁棒性评估指标方面，论文设计了针对不同视觉变化的指标，例如位置敏感性、尺度敏感性等。在组件级分析方面，论文提出了一种新的可视化方法，用于对齐视觉特征，从而可以分析LVLM pipeline中各个组件的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使在复杂的视觉-语言任务中表现出色的先进LVLM，在简单的物体识别任务中也表现出对视觉变化的惊人脆弱性。例如，模型表现出与有效感受野理论相悖的独特的视觉位置偏差。组件级分析表明，这些脆弱性源于pipeline架构中的误差累积和多模态对齐不足。

🎯 应用场景

该研究成果可应用于提升LVLM在自动驾驶、机器人导航、智能监控等领域的性能。通过提高模型对视觉变化的鲁棒性，可以使其在复杂和动态的真实环境中更加可靠和准确地执行任务，例如识别不同角度和光照条件下的交通标志或目标物体。

📄 摘要（原文）

Large Vision Language Models (LVLMs) excel in various vision-language tasks. Yet, their robustness to visual variations in position, scale, orientation, and context that objects in natural scenes inevitably exhibit due to changes in viewpoint and environment remains largely underexplored. To bridge this gap, we introduce V$^2$R-Bench, a comprehensive benchmark framework for evaluating Visual Variation Robustness of LVLMs, which encompasses automated evaluation dataset generation and principled metrics for thorough robustness assessment. Through extensive evaluation on 21 LVLMs, we reveal a surprising vulnerability to visual variations, in which even advanced models that excel at complex vision-language tasks significantly underperform on simple tasks such as object recognition. Interestingly, these models exhibit a distinct visual position bias that contradicts theories of effective receptive fields, and demonstrate a human-like visual acuity threshold. To identify the source of these vulnerabilities, we present a systematic framework for component-level analysis, featuring a novel visualization approach for aligned visual features. Results show that these vulnerabilities stem from error accumulation in the pipeline architecture and inadequate multimodal alignment. Complementary experiments with synthetic data further demonstrate that these limitations are fundamentally architectural deficiencies, scoring the need for architectural innovations in future LVLM designs.