Towards Universal Physical Adversarial Attacks via a Joint Multi-Objective and Multi-Model Optimization Framework

📄 arXiv: 2605.17772v1 📥 PDF

作者: Ziyang Liu, Hongyuan Wang, Zijian Wang, Yinxi Lu, Yunzhao Zang, Zhiqiang Yan, Qianhao Ning

分类: cs.CV

发布日期: 2026-05-18

备注: Under review

💡 一句话要点

提出JMOF框架，解决物理对抗攻击中跨模型泛化性差的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 物理对抗攻击 跨模型泛化 多目标优化 梯度对齐 深度学习 对抗样本 视觉AI安全

📋 核心要点

  1. 现有物理对抗攻击方法易过拟合于特定模型，导致跨模型泛化能力不足，在真实场景中效果不佳。
  2. JMOF框架通过联合多目标和多模型优化，并引入正交梯度对齐策略，提升了攻击的跨模型迁移性和泛化能力。
  3. 实验结果表明，JMOF在多种视觉任务上优于现有方法，能够有效欺骗目标检测、语义分割等模型。

📝 摘要（中文）

物理对抗攻击常常过拟合于单个代理模型和优化目标。集成攻击虽然可以缓解这个问题，但现有方法在受限的物理纹理空间中面临严重的梯度冲突，显著降低了跨模型迁移性。为了弥补这一差距，本文提出了一个联合多目标和多模型优化框架（JMOF），该框架利用定量相似性分析来选择最佳的代理模型集成。在JMOF中，双层机制联合抑制预测输出并平坦化中间特征分布，从而平衡了攻击效率与深度泛化能力。此外，正交梯度对齐（OGA）策略解决了跨模型梯度冲突，将相互排斥的梯度转化为协同优化方向。大量的模拟和真实世界实验表明，JMOF优于最先进的基线方法，能够对抗各种黑盒检测器。更重要的是，JMOF表现出显著的跨视觉任务泛化能力，生成的攻击能够同时欺骗目标检测、语义分割或单目深度估计模型。这项研究推进了物理对抗攻击的泛化极限，为评估真实部署中视觉AI的漏洞提供了一个鲁棒的框架。

🔬 方法详解

问题定义：物理对抗攻击旨在通过在物理世界中对目标物体添加扰动，使目标模型产生错误的预测。然而，现有方法通常针对特定的代理模型进行优化，导致生成的对抗样本在面对不同的模型时，攻击效果显著下降，即跨模型泛化能力差。此外，物理纹理空间的限制以及多模型之间的梯度冲突进一步加剧了这一问题。

核心思路：JMOF的核心思路是通过联合优化多个代理模型和多个目标函数，从而提高对抗样本的泛化能力。具体来说，该框架通过定量相似性分析选择合适的代理模型集成，并采用双层机制抑制预测输出和特征分布，以平衡攻击效率和泛化能力。同时，引入正交梯度对齐策略，解决跨模型之间的梯度冲突，使不同模型的梯度方向更加一致，从而提高迁移性。

技术框架：JMOF框架主要包含以下几个模块：1) 代理模型选择模块：通过定量相似性分析，选择与目标模型相似度高的模型作为代理模型。2) 双层优化机制：同时优化预测输出和中间特征分布，提高攻击的鲁棒性。3) 正交梯度对齐模块：通过正交化不同模型的梯度，解决梯度冲突问题。4) 对抗样本生成模块：根据优化后的梯度，生成最终的物理对抗样本。

关键创新：JMOF的关键创新在于：1) 提出了联合多目标和多模型优化框架，能够同时优化多个代理模型和多个目标函数，从而提高攻击的泛化能力。2) 引入了正交梯度对齐策略，有效解决了跨模型之间的梯度冲突问题，提高了攻击的迁移性。3) 提出了双层优化机制，平衡了攻击效率和泛化能力。

关键设计：在代理模型选择方面，使用了定量相似性分析方法，例如计算模型输出的余弦相似度。在双层优化机制中，使用了对抗损失函数来抑制预测输出，并使用特征分布对齐损失函数来平坦化中间特征分布。在正交梯度对齐模块中，通过计算不同模型梯度之间的夹角，并对梯度进行正交化处理，使梯度方向更加一致。具体的损失函数权重和优化参数需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，JMOF在多种视觉任务上优于现有方法。例如，在目标检测任务中，JMOF能够显著降低目标检测器的平均精度均值（mAP）。更重要的是，JMOF表现出良好的跨视觉任务泛化能力，能够同时欺骗目标检测、语义分割或单目深度估计模型，表明其生成的对抗样本具有更强的鲁棒性和迁移性。

🎯 应用场景

该研究成果可应用于评估和提升视觉AI系统在真实世界部署中的安全性。例如，可以利用该框架生成对抗样本来测试自动驾驶系统、人脸识别系统等在面对恶意攻击时的鲁棒性。此外，该研究还可以促进对抗防御技术的发展，提高视觉AI系统的安全性。

📄 摘要（原文）

Physical adversarial attacks often overfit single surrogate models and optimization objectives. While ensemble attacks can mitigate this, existing methods struggle with severe gradient conflicts within restricted physical texture spaces, significantly degrading cross-model transferability. To bridge this gap, this paper proposes a Joint Multi-Objective and Multi-Model Optimization Framework (JMOF) that leverages quantitative similarity analysis to select the optimal surrogate model ensemble. Within JMOF, a dual-level mechanism jointly suppresses prediction outputs and flattens intermediate feature distributions, balancing attack efficiency with deep generalization. Additionally, an Orthogonal Gradient Alignment (OGA) strategy resolves cross-model gradient conflicts, transforming mutually repulsive gradients into synergistic optimization directions. Extensive simulated and real-world experiments demonstrate that JMOF outperforms state-of-the-art baselines against diverse black-box detectors. Crucially, JMOF exhibits substantial cross-vision-task generalization, generating attacks capable of simultaneously deceiving object detection and semantic segmentation or monocular depth estimation models. This research advances the generalization limits of physical adversarial attacks, providing a robust framework for evaluating visual AI vulnerabilities in real-world deployments.