GeoDetect: Geometric Adversarial Detection for VLPs

📄 arXiv: 2607.14737v1 📥 PDF

作者: Afsaneh Hasanebrahimi, Hanxun Huang, Christopher Leckie, James Bailey, Sarah Erfani

分类: cs.CV, cs.LG

发布日期: 2026-07-16

备注: ECCV 2026

💡 一句话要点

提出GeoDetect以解决VLP模型的对抗攻击检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗样本检测 视觉-语言模型 几何特征 多模态学习 安全性提升

📋 核心要点

  1. 现有对抗检测方法在单模态设置中表现良好，但在多模态VLP模型中仍存在有效性不足的问题。
  2. 论文提出GeoDetect，通过分析VLP嵌入空间的几何特性，利用几何评分识别对抗样本。
  3. 实验结果显示，GeoDetect在多种VLP架构和攻击设置下均能有效检测对抗样本，显著提升了模型的安全性。

📝 摘要（中文）

视觉-语言预训练模型（VLPs）在实际应用中广泛使用，但仍然容易受到对抗攻击的影响。尽管现有的对抗检测方法在单模态设置中取得了一定成功，但在多模态模型如VLPs中的有效性和可靠性仍未得到充分探索。本文研究了VLP嵌入空间的几何特性，发现其结构性各向异性与单模态视觉模型不同。理论分析表明，在这种各向异性结构下，对抗攻击会增加干净样本与对抗样本之间的几何分离。基于这些洞察，提出了GeoDetect，通过几何评分识别对抗样本。全面评估表明，该方法在多种VLP架构和威胁设置中可靠地检测对抗样本，提升了模型的安全性和可靠性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言预训练模型（VLPs）在面对对抗攻击时的检测问题。现有方法在单模态下有效，但在多模态环境中缺乏可靠性，导致VLPs易受攻击。

核心思路：论文的核心思路是通过研究VLP嵌入空间的几何特性，特别是其各向异性结构，来识别对抗样本。通过观察对抗样本与干净样本之间的几何分离，提出利用几何评分来检测对抗样本。

技术框架：GeoDetect的整体架构包括数据预处理、几何特征提取和对抗样本检测三个主要模块。首先，对输入数据进行预处理，然后提取嵌入空间的几何特征，最后通过几何评分进行对抗样本的识别。

关键创新：最重要的技术创新在于利用VLP嵌入空间的各向异性特性，提出了一种新的几何评分机制，与传统的单模态对抗检测方法有本质区别。

关键设计：在设计中，关键参数包括几何评分的计算方式和对抗样本的距离度量，损失函数则结合了几何特征与分类损失，以提高检测精度。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，GeoDetect在多种VLP架构下均能有效检测对抗样本，尤其在面对单模态和多模态攻击时，检测准确率提升了15%以上，相较于现有基线方法表现出显著优势。

🎯 应用场景

该研究的潜在应用领域包括安全性要求高的视觉-语言系统，如自动驾驶、智能监控和人机交互等。通过提升对抗样本的检测能力，GeoDetect能够增强这些系统的鲁棒性和可靠性，确保在复杂环境下的安全运行。

📄 摘要（原文）

Vision-language pre-trained models (VLPs) are widely used in real-world applications. However, they remain vulnerable to adversarial attacks. Although adversarial detection methods have demonstrated success in single-modality settings (either vision or language), their effectiveness and reliability in multimodal models such as VLPs remain largely unexplored. In this work, we study the geometry of VLP embedding spaces and observe structured anisotropy that differs from unimodal vision models. Our theoretical analysis shows that under this anisotropic structure, adversarial attacks increase the expected geometric separation between clean and adversarial examples (AEs). Specifically, we demonstrate that AEs consistently exhibit greater expected distances to randomly sampled points than their clean counterparts, indicating that AEs tend to push representations out of manifold regions. Building on these insights, we propose GeoDetect, which leverages these off-manifold deviations via geometric scores to identify AEs. Through comprehensive evaluations, we show that our approach reliably detects AEs across diverse VLP architectures and threat settings, covering unimodal and multimodal attacks as well as adaptive attacks, thereby providing a robust and practical approach to improving the safety and reliability of these models.