ARMOR: Agentic Reasoning for Methods Orchestration and Reparameterization for Robust Adversarial Attacks

📄 arXiv: 2601.18386v1 📥 PDF

作者: Gabriel Lee Jun Rong, Christos Korgialas, Dion Jia Xu Ho, Pai Chet Ng, Xiaoxiao Miao, Konstantinos N. Plataniotis

分类: cs.CV

发布日期: 2026-01-26

💡 一句话要点

ARMOR：利用智能体推理编排和重参数化方法，实现鲁棒对抗攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 智能体 视觉语言模型 大型语言模型 模型鲁棒性 跨架构迁移 自动化攻击

📋 核心要点

  1. 现有对抗攻击方法缺乏策略性和语义感知，难以适应不同图像和模型。
  2. ARMOR框架利用VLM和LLM引导的智能体，动态编排和重参数化多种攻击方法。
  3. 实验表明，ARMOR在跨架构迁移攻击和白盒/黑盒攻击中均表现出优越的性能。

📝 摘要（中文）

现有的自动化攻击套件通常是静态集成，缺乏策略适应性和语义感知。本文提出了“用于方法编排和重参数化的智能体推理”（ARMOR）框架，旨在解决这些局限性。ARMOR通过视觉语言模型（VLM）引导的智能体来协调三种典型的对抗性原语：Carlini-Wagner（CW）、基于雅可比显著图攻击（JSMA）和空间变换攻击（STA），这些智能体通过共享的“混合台”协同生成和合成扰动。大型语言模型（LLM）在一个实时的闭环系统中自适应地调整和重新参数化并行攻击智能体，从而利用特定图像的语义漏洞。在标准基准测试中，ARMOR实现了改进的跨架构迁移，并且能够可靠地欺骗两种设置，为盲目标提供混合输出，并使用置信度和SSIM评分为白盒目标选择最佳攻击或混合攻击。

🔬 方法详解

问题定义：现有的对抗攻击方法，尤其是自动化攻击套件，通常采用静态的攻击策略，缺乏对目标图像语义信息的理解和利用，难以根据不同的图像和模型进行自适应调整。这导致攻击的成功率较低，且泛化能力不足，难以在不同的模型架构上进行迁移攻击。

核心思路：ARMOR的核心思路是引入智能体（Agent）的概念，利用视觉语言模型（VLM）和大型语言模型（LLM）赋予攻击方法以推理和决策能力。通过VLM理解图像内容，LLM根据图像语义信息动态地编排和重参数化不同的攻击方法，从而实现更具针对性和适应性的对抗攻击。

技术框架：ARMOR框架包含三个主要模块：1) 基于VLM的图像理解模块，用于提取图像的语义信息；2) 基于LLM的攻击策略编排模块，根据图像语义信息，动态选择和调整不同的攻击方法；3) 攻击执行模块，包含Carlini-Wagner (CW), Jacobian-based Saliency Map Attack (JSMA), 和 Spatially Transformed Attacks (STA) 三种攻击方法，并通过一个共享的“混合台”进行协同攻击。整个过程构成一个闭环系统，LLM根据攻击效果实时调整攻击策略。

关键创新：ARMOR的关键创新在于将智能体的概念引入对抗攻击领域，利用VLM和LLM赋予攻击方法以推理和决策能力。与传统的静态攻击方法相比，ARMOR能够根据图像语义信息动态地调整攻击策略，从而实现更具针对性和适应性的对抗攻击。此外，ARMOR通过“混合台”协同不同的攻击方法，进一步提高了攻击的成功率和泛化能力。

关键设计：ARMOR使用CLIP作为VLM，用于提取图像的语义信息。LLM采用GPT系列模型，用于攻击策略的编排和重参数化。三种攻击方法（CW, JSMA, STA）的参数由LLM动态调整。框架使用置信度和SSIM评分来评估攻击效果，并根据评估结果调整攻击策略。对于白盒攻击，ARMOR选择最佳的攻击或混合攻击；对于黑盒攻击，ARMOR提供混合输出。

📊 实验亮点

ARMOR在标准基准测试中表现出色，实现了改进的跨架构迁移攻击性能，并能可靠地欺骗白盒和黑盒设置下的目标模型。具体而言，ARMOR能够根据图像语义信息动态地调整攻击策略，从而显著提高攻击的成功率和泛化能力。通过置信度和SSIM评分，ARMOR能够有效地选择最佳攻击或混合攻击，进一步提升了攻击效果。

🎯 应用场景

ARMOR框架具有广泛的应用前景，可用于评估和提高深度学习模型的鲁棒性，防御恶意攻击。该技术可应用于自动驾驶、人脸识别、医疗诊断等安全攸关领域，提升系统的安全性与可靠性。此外，ARMOR的智能体设计思路也可推广到其他对抗攻击场景，例如语音识别、自然语言处理等。

📄 摘要（原文）

Existing automated attack suites operate as static ensembles with fixed sequences, lacking strategic adaptation and semantic awareness. This paper introduces the Agentic Reasoning for Methods Orchestration and Reparameterization (ARMOR) framework to address these limitations. ARMOR orchestrates three canonical adversarial primitives, Carlini-Wagner (CW), Jacobian-based Saliency Map Attack (JSMA), and Spatially Transformed Attacks (STA) via Vision Language Models (VLM)-guided agents that collaboratively generate and synthesize perturbations through a shared ``Mixing Desk". Large Language Models (LLMs) adaptively tune and reparameterize parallel attack agents in a real-time, closed-loop system that exploits image-specific semantic vulnerabilities. On standard benchmarks, ARMOR achieves improved cross-architecture transfer and reliably fools both settings, delivering a blended output for blind targets and selecting the best attack or blended attacks for white-box targets using a confidence-and-SSIM score.