FusionAudit: Pathway-Conditioned Robustness Auditing for Native Multimodal Models

📄 arXiv: 2610.21667v1 📥 PDF

作者: Jiaming Zhang, Zherui Li, Siqi Guo, Junhao Dong, Kun Wang, Wei Yang Bryan Lim

分类: cs.CV

发布日期: 2026-10-15

备注: NeurIPS 2026

💡 一句话要点

提出FusionAudit以解决多模态模型的鲁棒性审计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 鲁棒性审计 视觉语言模型 路径特定诊断 攻击方法 风险评估 深度学习 安全性评估

📋 核心要点

  1. 现有的单一攻击评估方法未能有效捕捉多模态模型的复杂性，导致对其脆弱性的评估不准确。
  2. 论文提出了PaRMA框架，通过路径特定的诊断方法，针对像素扰动和渲染文本插入进行鲁棒性审计。
  3. 实验结果表明，传统的攻击排名方法在本地多模态模型上不稳定，而新提出的攻击方法显著提高了残余风险的估计。

📝 摘要（中文）

随着视觉语言模型（VLMs）从冻结编码器管道转向本地多模态架构，视觉通道不仅作为感知输入，还承载与用户提示竞争的渲染文本。现有的单一攻击、像素中心评估未能捕捉这种复杂性。我们提出了PaRMA，一个基于证据的审计框架，定义了基于路径的风险，针对像素扰动和渲染文本插入两种主要图像级干预。通过路径特定的诊断，PaRMA揭示了架构特定的盲点。我们发现本地VLMs在处理排版覆盖时表现出“看见但不被欺骗”的特征，并识别出深度融合模型中编码器级与答案级攻击之间的客观不匹配。基于这些发现，我们实现了FusionAudit，引入了两种诊断驱动的攻击方法：MANTIS和Nat-Evid。对18个开放权重VLMs的评估显示，传统的单一攻击排名对本地模型不稳定，而我们的攻击显著提高了残余风险的估计。

🔬 方法详解

问题定义：本研究旨在解决现有单一攻击评估方法无法有效捕捉多模态模型复杂性的痛点，特别是在视觉通道作为输入和文本承载体的情况下。

核心思路：论文的核心思路是通过PaRMA框架，定义基于路径的风险评估，利用路径特定的诊断方法来揭示模型的架构特定盲点，从而实现更有效的鲁棒性审计。

技术框架：整体架构包括两个主要模块：1) 图像级干预的风险评估（像素扰动和渲染文本插入）；2) 诊断驱动的攻击方法（MANTIS和Nat-Evid），通过这些模块实现对模型脆弱性的全面审计。

关键创新：最重要的技术创新点在于揭示了本地VLMs在处理排版覆盖时的“看见但不被欺骗”特征，以及编码器级与答案级攻击之间的客观不匹配，这些都是现有方法未能识别的。

关键设计：在攻击方法设计中，MANTIS采用边际感知的像素扰动，而Nat-Evid则实现了主机一致的语义插入，具体参数设置和损失函数设计旨在最大化攻击效果并提高鲁棒性评估的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，传统的单一攻击排名（如PGD）在本地多模态模型上表现不稳定，而我们提出的诊断驱动攻击方法显著提高了残余风险的估计，展示了PaRMA框架在发现标准基准未能捕捉的脆弱性方面的有效性。

🎯 应用场景

该研究的潜在应用场景包括多模态模型的安全性评估、鲁棒性增强以及在实际应用中对模型脆弱性的识别与修复。通过提供更准确的审计方法，能够帮助开发者在设计和部署多模态系统时，提升其安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

As vision-language models (VLMs) transition from frozen-encoder pipelines to native multimodal architectures, the visual channel increasingly serves as both a perceptual input and a carrier of rendered text that competes with user prompts. Current single-attack, pixel-centric evaluations fail to capture this complexity: they collapse distinct visual attack surfaces into a single scalar and ignore how architectural shifts alter vulnerability. We introduce PaRMA, an evidence-based auditing framework that defines pathway-conditioned risk over two primary image-level interventions: pixel perturbation and rendered-text insertion. Instead of arbitrary attack enumeration, PaRMA uses pathway-specific diagnostics to expose architecture-specific blind spots. Notably, we uncover a see-but-not-deceived signature where native VLMs attend heavily to typographic overlays but visually reject them, and we identify an objective mismatch between encoder-level and answer-level attacks in deep-fusion models. To exploit these findings, we instantiate FusionAudit, introducing two diagnostic-motivated attacks: MANTIS (margin-aware pixel perturbation) and Nat-Evid (host-congruent semantic insertion). Evaluating 18 open-weight VLMs across a novel nativeness taxonomy, we demonstrate that legacy single-attack rankings (e.g., PGD) are unstable for native models. Our diagnostic-driven attacks substantially raise the estimated residual risk, showing that PaRMA provides a falsifiable, evidence-driven auditing methodology for uncovering vulnerabilities missed by standard benchmarks.