Adversarial Attacks on Multimodal Large Language Models: A Comprehensive Survey
作者: Bhavuk Jain, Sercan Ö. Arık, Hardeo K. Thakur
分类: cs.CR, cs.AI
发布日期: 2026-03-30
备注: Survey paper, 37 pages, 10 figures, accepted at TMLR
期刊: Transactions on Machine Learning Research, 2026
💡 一句话要点
全面分析多模态大语言模型对抗攻击，揭示脆弱性根源并指导防御。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 对抗攻击 模型安全 漏洞分析 深度学习
📋 核心要点
- 多模态大语言模型面临新型对抗攻击，现有研究缺乏对模型脆弱性根源的深入分析。
- 论文提出一种新的对抗攻击分类法，并从模型漏洞角度分析各类攻击的内在联系。
- 该框架为理解多模态大语言模型的对抗行为提供了理论基础，并指导更安全系统的开发。
📝 摘要（中文）
多模态大语言模型（MLLMs）整合了文本、图像、音频和视频等多种模态的信息，实现了视觉问答和音频翻译等复杂功能。然而，这种增强的表达能力也带来了新的、被放大的对抗操纵漏洞。本综述对MLLMs的对抗威胁进行了全面而系统的分析，超越了对攻击技术的简单枚举，解释了模型易受攻击的根本原因。我们引入了一种分类法，根据攻击者的目标组织对抗攻击，统一了跨模态和部署环境的各种攻击面。此外，我们还提出了一个以漏洞为中心的分析，将完整性攻击、安全和越狱失败、控制和指令劫持以及训练时中毒与多模态系统中共享的架构和表示弱点联系起来。总之，该框架为理解MLLMs中的对抗行为提供了解释性基础，并为开发更强大和安全的多模态语言系统提供了信息。
🔬 方法详解
问题定义：多模态大语言模型（MLLMs）虽然功能强大，但容易受到对抗攻击，导致模型输出错误、违反安全规则甚至被完全控制。现有研究主要集中在枚举不同的攻击方法，缺乏对模型内在脆弱性的系统性分析，难以指导有效的防御措施。
核心思路：本研究的核心思路是从攻击者的目标和模型自身的漏洞两个维度对MLLMs的对抗攻击进行分类和分析。通过理解攻击者的意图和模型存在的弱点，可以更好地理解对抗攻击的本质，并有针对性地设计防御策略。
技术框架：该研究首先提出了一个基于攻击者目标的对抗攻击分类法，将攻击分为完整性攻击、安全和越狱攻击、控制和指令劫持以及训练时中毒攻击。然后，从模型架构和表示学习的角度分析了MLLMs的常见漏洞，并将这些漏洞与不同类型的对抗攻击联系起来。最后，总结了现有的防御方法，并提出了未来研究方向。
关键创新：该研究的关键创新在于从漏洞的角度分析对抗攻击，而不是仅仅关注攻击方法本身。通过将不同类型的攻击与模型共享的架构和表示弱点联系起来，揭示了对抗攻击的内在机制，为开发更鲁棒的MLLMs提供了新的视角。
关键设计：论文没有提出新的模型或算法，而是一个综述性的分析框架。关键在于对现有攻击方法的分类和对模型漏洞的识别。具体的技术细节包括对不同模态数据处理方式的分析、对跨模态融合机制的评估以及对模型安全性的测试方法的研究。
🖼️ 关键图片
📊 实验亮点
该论文提供了一个全面的多模态大语言模型对抗攻击分析框架，从攻击目标和模型漏洞两个维度进行分类，揭示了不同攻击之间的内在联系。该研究为理解和防御MLLMs的对抗攻击提供了重要的理论基础，并为未来研究指明了方向。
🎯 应用场景
该研究成果可应用于提升多模态大语言模型在各种场景下的安全性，例如视觉问答、智能客服、自动驾驶等。通过理解模型漏洞并设计更鲁棒的防御机制，可以防止恶意攻击，确保模型在实际应用中的可靠性和安全性，促进多模态人工智能技术的健康发展。
📄 摘要（原文）
Multimodal large language models (MLLMs) integrate information from multiple modalities such as text, images, audio, and video, enabling complex capabilities such as visual question answering and audio translation. While powerful, this increased expressiveness introduces new and amplified vulnerabilities to adversarial manipulation. This survey provides a comprehensive and systematic analysis of adversarial threats to MLLMs, moving beyond enumerating attack techniques to explain the underlying causes of model susceptibility. We introduce a taxonomy that organizes adversarial attacks according to attacker objectives, unifying diverse attack surfaces across modalities and deployment settings. Additionally, we also present a vulnerability-centric analysis that links integrity attacks, safety and jailbreak failures, control and instruction hijacking, and training-time poisoning to shared architectural and representational weaknesses in multimodal systems. Together, this framework provides an explanatory foundation for understanding adversarial behavior in MLLMs and informs the development of more robust and secure multimodal language systems.