Revealing Physical-World Semantic Vulnerabilities: Universal Adversarial Patches for Infrared Vision-Language Models

📄 arXiv: 2604.03117 📥 PDF

作者: Chengyin Hu, Yuxian Dong, Yikun Guo, Xiang Chen, Junqi Wu, Jiahuan Long, Yiwei Wei, Tingsong Jiang, Wen Yao

分类: cs.CV

发布日期: 2026-04-06

💡 一句话要点

提出UCGP，针对红外视觉-语言模型的通用物理对抗补丁框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 红外视觉-语言模型 对抗攻击 物理对抗补丁 通用对抗补丁 多模态安全

📋 核心要点

  1. 现有对抗补丁方法主要针对RGB图像，难以直接应用于红外视觉-语言模型，尤其是在物理世界部署和开放域语义理解方面。
  2. 论文提出通用曲面网格补丁（UCGP），通过曲面网格参数化和表示驱动目标，生成连续、低频且隐蔽的对抗补丁。
  3. 实验表明，UCGP能有效攻击多种红外视觉-语言模型，并具备跨模型迁移性、跨数据集泛化性和物理世界有效性。

📝 摘要（中文）

红外视觉-语言模型(IR-VLMs)已成为低可见度环境中多模态感知的一种有前景的范例，但其对抗攻击的鲁棒性仍未得到充分探索。现有的对抗补丁方法主要针对RGB模型，且为闭集设置，不适用于红外VLMs的开放式语义理解和物理部署需求。为弥合这一差距，我们提出通用曲面网格补丁(UCGP)，一个用于IR-VLMs的通用物理对抗补丁框架。UCGP集成了曲面网格(CGM)参数化，用于连续、低频和可部署的补丁生成，以及统一的表示驱动目标，促进子空间偏离、拓扑破坏和隐蔽性。为了提高真实部署和领域转移下的鲁棒性，我们进一步结合了元差分进化和EOT增强的TPS变形建模。UCGP直接破坏视觉表示空间，削弱跨模态语义对齐，而不是操纵标签或提示。大量实验表明，UCGP始终损害各种IR-VLM架构的语义理解，同时保持跨模型可迁移性、跨数据集泛化性、真实物理有效性和防御鲁棒性。这些发现揭示了当前红外多模态系统中一个先前被忽视的鲁棒性漏洞。

🔬 方法详解

问题定义：现有对抗补丁方法主要针对RGB图像，并且通常在闭集分类任务上进行评估。红外视觉-语言模型（IR-VLMs）面临开放域语义理解和物理世界部署的挑战，现有方法难以直接应用，并且缺乏针对IR-VLMs的对抗攻击研究。因此，需要设计一种能够有效攻击IR-VLMs，并且能够在物理世界中部署的对抗补丁。

核心思路：论文的核心思路是通过生成一个通用的、物理可实现的对抗补丁，来破坏IR-VLMs的视觉表示空间，从而削弱跨模态语义对齐，导致模型无法正确理解红外图像的内容。该补丁的设计需要考虑其连续性、低频特性和隐蔽性，以保证其在物理世界中的有效性和难以被检测性。

技术框架：UCGP框架主要包含以下几个模块：1) 曲面网格（CGM）参数化：使用CGM来生成连续且低频的对抗补丁。2) 表示驱动目标：设计损失函数，促使对抗补丁破坏视觉表示空间，实现子空间偏离、拓扑破坏和隐蔽性。3) 元差分进化和EOT增强的TPS变形建模：提高补丁在真实部署和领域转移下的鲁棒性。

关键创新：UCGP的关键创新在于：1) 提出了针对IR-VLMs的通用物理对抗补丁框架。2) 使用曲面网格参数化来生成连续且低频的对抗补丁，更易于物理实现。3) 设计了表示驱动目标，直接攻击视觉表示空间，而非操纵标签或提示。4) 结合元差分进化和EOT增强的TPS变形建模，提高了补丁的鲁棒性。

关键设计：1) 曲面网格参数化：使用贝塞尔曲线控制网格的形状，保证补丁的连续性。2) 表示驱动目标：包含子空间偏离损失、拓扑破坏损失和隐蔽性损失，分别促使补丁破坏视觉表示的结构、拓扑关系和降低可见性。3) 元差分进化：用于优化对抗补丁的参数，提高其在不同环境下的鲁棒性。4) EOT增强的TPS变形建模：模拟物理世界中的各种变形，提高补丁的物理可实现性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UCGP能够有效攻击多种IR-VLM架构，包括CLIP和Flamingo等，显著降低模型的语义理解能力。UCGP在跨模型迁移性、跨数据集泛化性和物理世界有效性方面均表现出色，并且对一些防御方法具有一定的鲁棒性。例如，UCGP能够使模型的准确率下降超过50%，证明了其攻击的有效性。

🎯 应用场景

该研究揭示了红外视觉-语言模型在对抗攻击下的脆弱性，有助于提升红外多模态系统的安全性。其成果可应用于智能安防、自动驾驶、机器人导航等领域，提高系统在低可见度环境下的鲁棒性和可靠性，避免因对抗攻击导致的误判或安全事故。未来可进一步研究更有效的防御方法，增强红外视觉系统的安全性。

📄 摘要（原文）

Infrared vision-language models (IR-VLMs) have emerged as a promising paradigm for multimodal perception in low-visibility environments, yet their robustness to adversarial attacks remains largely unexplored. Existing adversarial patch methods are mainly designed for RGB-based models in closed-set settings and are not readily applicable to the open-ended semantic understanding and physical deployment requirements of infrared VLMs. To bridge this gap, we propose Universal Curved-Grid Patch (UCGP), a universal physical adversarial patch framework for IR-VLMs. UCGP integrates Curved-Grid Mesh (CGM) parameterization for continuous, low-frequency, and deployable patch generation with a unified representation-driven objective that promotes subspace departure, topology disruption, and stealth. To improve robustness under real-world deployment and domain shift, we further incorporate Meta Differential Evolution and EOT-augmented TPS deformation modeling. Rather than manipulating labels or prompts, UCGP directly disrupts the visual representation space, weakening cross-modal semantic alignment. Extensive experiments demonstrate that UCGP consistently compromises semantic understanding across diverse IR-VLM architectures while maintaining cross-model transferability, cross-dataset generalization, real-world physical effectiveness, and robustness against defenses. These findings reveal a previously overlooked robustness vulnerability in current infrared multimodal systems.