Challenging Vision-Language Models with Physically Deployable Multimodal Semantic Lighting Attacks

📄 arXiv: 2604.12833v1 📥 PDF

作者: Yingying Zhao, Chengyin Hu, Qike Zhang, Xin Li, Xin Wang, Yiwei Wei, Jiujiang Guo, Jiahuan Long, Tingsong Jiang, Wen Yao

分类: cs.CV

发布日期: 2026-04-14

💡 一句话要点

提出多模态语义光照攻击MSLA，挑战视觉-语言模型在物理世界的安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 对抗攻击 物理可部署 多模态语义 光照攻击

📋 核心要点

  1. 现有VLM对抗攻击研究主要集中于数字环境，忽略了物理世界中可实现的攻击，这与VLM日益增长的实际部署需求不符。
  2. MSLA利用可控的对抗性光照，通过扰乱多模态语义对齐，而非仅针对特定任务输出，来实现对VLM的物理攻击。
  3. 实验证明MSLA在数字和物理环境中均有效，能够降低CLIP的零样本分类性能，并在LLaVA和BLIP等模型中引发语义幻觉。

📝 摘要（中文）

视觉-语言模型(VLMs)展现了卓越的性能，但其安全性仍未得到充分理解。现有的对抗性研究几乎完全集中在数字环境中，而忽略了物理世界的威胁。随着VLMs越来越多地部署在真实环境中，这种差距变得至关重要，因为对抗性扰动必须在物理上可实现。针对这一问题，我们提出了多模态语义光照攻击(MSLA)，这是第一个针对VLMs的物理可部署对抗攻击框架。MSLA使用可控的对抗性光照来扰乱真实场景中的多模态语义理解，攻击语义对齐，而不仅仅是特定于任务的输出。因此，它降低了主流CLIP变体的零样本分类性能，同时在图像描述和视觉问答(VQA)等高级VLMs(如LLaVA和BLIP)中引起严重的语义幻觉。在数字和物理领域的广泛实验表明，MSLA是有效的、可转移的和实际可实现的。我们的发现首次证明了VLMs极易受到物理可部署的语义攻击，暴露了一个先前被忽视的鲁棒性差距，并强调了对VLMs进行物理世界鲁棒性评估的迫切需求。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型(VLMs)在物理世界中面临的安全威胁问题。现有针对VLMs的对抗攻击研究主要集中在数字领域，缺乏对物理可实现攻击的系统性研究。由于VLMs正逐渐部署到真实环境中，这种忽略使得模型容易受到实际攻击，导致识别失败和语义误解。

核心思路：论文的核心思路是利用物理上可控的对抗性光照来扰乱VLMs的多模态语义理解。通过改变场景的光照条件，引入细微但具有欺骗性的扰动，使得模型在理解图像和文本之间的关系时产生偏差，从而实现攻击。这种方法直接攻击了VLMs的语义对齐能力，而非仅仅针对特定任务的输出。

技术框架：MSLA框架主要包含以下几个阶段：1) 对抗性光照生成：设计算法生成能够最大程度干扰VLM语义理解的对抗性光照模式。2) 物理部署：将生成的对抗性光照模式通过可控的光源（例如投影仪）投射到真实场景中。3) VLM推理：使用受到对抗性光照影响的图像和相应的文本提示，输入到VLM中进行推理，观察模型的输出结果。4) 攻击效果评估：评估VLM在受到攻击后的性能下降程度，例如分类准确率降低、语义幻觉产生等。

关键创新：MSLA的关键创新在于它是第一个针对VLMs的物理可部署的对抗攻击框架。与以往的数字攻击不同，MSLA考虑了物理世界的约束，使得攻击更具实际意义。此外，MSLA通过攻击多模态语义对齐，而非仅仅针对特定任务的输出，使得攻击更具通用性和可迁移性。

关键设计：在对抗性光照生成方面，论文可能采用了基于梯度优化的方法，例如通过计算损失函数关于光照参数的梯度，迭代更新光照模式，以最大化攻击效果。损失函数的设计可能考虑了目标VLM的输出结果，例如分类概率、文本描述的语义相似度等。此外，为了保证物理可实现性，可能对光照强度、颜色等参数进行了约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MSLA能够有效降低主流CLIP变体的零样本分类性能，并在LLaVA和BLIP等高级VLMs中引发严重的语义幻觉。在物理实验中，MSLA成功地欺骗了VLM，使其对场景产生错误的理解。这些结果首次证明了VLMs在物理世界中面临着严重的安全性威胁，并暴露了现有模型在鲁棒性方面的不足。

🎯 应用场景

该研究成果可应用于评估和提升视觉-语言模型在实际场景中的安全性。例如，在自动驾驶、机器人导航、智能监控等领域，可以利用MSLA来测试和增强VLM的鲁棒性，防止模型受到恶意攻击而产生错误决策。此外，该研究也为开发更安全的VLM提供了新的思路和方法。

📄 摘要（原文）

Vision-Language Models (VLMs) have shown remarkable performance, yet their security remains insufficiently understood. Existing adversarial studies focus almost exclusively on the digital setting, leaving physical-world threats largely unexplored. As VLMs are increasingly deployed in real environments, this gap becomes critical, since adversarial perturbations must be physically realizable. Despite this practical relevance, physical attacks against VLMs have not been systematically studied. Such attacks may induce recognition failures and further disrupt multimodal reasoning, leading to severe semantic misinterpretation in downstream tasks. Therefore, investigating physical attacks on VLMs is essential for assessing their real-world security risks. To address this gap, we propose Multimodal Semantic Lighting Attacks (MSLA), the first physically deployable adversarial attack framework against VLMs. MSLA uses controllable adversarial lighting to disrupt multimodal semantic understanding in real scenes, attacking semantic alignment rather than only task-specific outputs. Consequently, it degrades zero-shot classification performance of mainstream CLIP variants while inducing severe semantic hallucinations in advanced VLMs such as LLaVA and BLIP across image captioning and visual question answering (VQA). Extensive experiments in both digital and physical domains demonstrate that MSLA is effective, transferable, and practically realizable. Our findings provide the first evidence that VLMs are highly vulnerable to physically deployable semantic attacks, exposing a previously overlooked robustness gap and underscoring the urgent need for physical-world robustness evaluation of VLMs.