R-PGA: Robust Physical Adversarial Camouflage Generation via Relightable 3D Gaussian Splatting
作者: Tianrui Lou, Siyuan Liang, Jiawei Liang, Yuze Gao, Xiaochun Cao
分类: cs.CV, cs.AI
发布日期: 2026-03-27
备注: Under review
💡 一句话要点
提出R-PGA框架，通过可重光照3D高斯溅射生成鲁棒的物理对抗迷彩，提升自动驾驶安全性。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 物理对抗攻击 3D高斯溅射 自动驾驶 对抗迷彩 领域自适应 鲁棒性优化 硬配置挖掘
📋 核心要点
- 现有物理对抗迷彩方法在复杂动态场景中泛化性差，无法应对几何和辐射变化。
- R-PGA框架利用可重光照3D高斯溅射，解耦材质与光照，并结合图像翻译合成逼真背景。
- 引入硬物理配置挖掘模块，主动挖掘最坏情况配置，平滑损失面，提升对抗鲁棒性。
📝 摘要（中文）
物理对抗迷彩通过将对抗纹理映射到3D物体上，对自动驾驶系统构成严重的安全威胁。然而，当前方法在复杂的动态场景中仍然脆弱，无法在不同的几何（例如，视角配置）和辐射（例如，动态光照、大气散射）变化中泛化。我们将这种缺陷归因于仿真和优化中的两个根本限制。首先，依赖于粗糙、过度简化的仿真（例如，通过CARLA）导致了显著的领域差距，将优化限制在有偏差的特征空间中。其次，针对平均性能的标准策略导致了崎岖的损失面，使迷彩容易受到配置变化的影响。为了弥合这些差距，我们提出了基于可重光照物理3D高斯溅射（3DGS）的攻击框架（R-PGA）。在技术上，为了解决仿真保真度问题，我们利用3DGS来确保照片级真实感重建，并通过物理分离的属性来解耦内在材质与光照。此外，我们设计了一种混合渲染管线，利用精确的可重光照3DGS进行前景渲染，同时采用预训练的图像翻译模型来合成与重光照前景对齐的合理重光照背景。为了解决优化鲁棒性问题，我们提出了硬物理配置挖掘（HPCM）模块，旨在主动挖掘最坏情况的物理配置并抑制其相应的损失峰值。这种策略不仅降低了整体损失幅度，而且有效地平滑了崎岖的损失面，确保了在不同物理配置下的一致对抗有效性和鲁棒性。
🔬 方法详解
问题定义：现有物理对抗迷彩方法在复杂动态场景中，由于仿真环境的简化和优化策略的局限性，导致生成的迷彩对视角、光照等变化敏感，鲁棒性不足，容易被攻击检测系统识别。现有方法依赖于粗糙的仿真环境（如CARLA），造成了严重的领域差距，并且优化目标过于关注平均性能，忽略了极端情况，导致损失面崎岖，难以训练出鲁棒的对抗迷彩。
核心思路：R-PGA的核心思路是提升仿真环境的真实度和优化过程的鲁棒性。通过使用可重光照的3D高斯溅射（3DGS）技术，更精确地模拟3D物体的渲染过程，并解耦材质和光照，从而缩小仿真环境与真实环境的差距。同时，通过硬物理配置挖掘（HPCM）模块，主动寻找最容易被攻击的物理配置，并针对这些配置进行优化，从而平滑损失面，提高对抗迷彩的鲁棒性。
技术框架：R-PGA框架主要包含两个核心模块：可重光照3DGS渲染模块和硬物理配置挖掘（HPCM）模块。首先，利用3DGS技术对3D物体进行高精度重建，并分离材质和光照属性。然后，使用混合渲染管线，将3DGS渲染的前景与图像翻译模型生成的背景进行融合，得到逼真的仿真图像。最后，HPCM模块通过采样不同的物理配置（视角、光照等），评估对抗迷彩的性能，并选择性能最差的配置进行优化，从而提高迷彩的鲁棒性。
关键创新：R-PGA的关键创新在于：1) 使用可重光照的3DGS技术，提升了仿真环境的真实度，缩小了领域差距。2) 提出了硬物理配置挖掘（HPCM）模块，主动寻找最坏情况的物理配置，并针对这些配置进行优化，从而平滑损失面，提高对抗迷彩的鲁棒性。与现有方法相比，R-PGA更加关注仿真环境的真实性和优化过程的鲁棒性，从而能够生成更加有效的物理对抗迷彩。
关键设计：在可重光照3DGS渲染模块中，使用了物理分离的属性来解耦内在材质与光照，具体实现方式未知。在混合渲染管线中，使用了预训练的图像翻译模型来合成背景，具体模型选择和训练方式未知。在HPCM模块中，物理配置的采样策略和损失函数的具体形式未知。这些细节的设计对R-PGA的性能至关重要，但论文摘要中并未详细描述。
🖼️ 关键图片
📊 实验亮点
论文提出了R-PGA框架，通过可重光照3DGS和HPCM模块，显著提升了物理对抗迷彩的鲁棒性。具体实验数据未知，但摘要强调了该方法能够有效应对几何和辐射变化，并在不同物理配置下保持一致的对抗有效性。与现有方法相比，R-PGA在复杂动态场景中表现出更强的泛化能力。
🎯 应用场景
R-PGA框架生成的鲁棒物理对抗迷彩可应用于提升自动驾驶系统的安全性，使其免受恶意攻击。该技术还可用于评估和改进自动驾驶系统的感知算法，提高其在复杂环境下的鲁棒性。此外，该研究思路可推广到其他对抗攻击领域，例如人脸识别、目标检测等。
📄 摘要（原文）
Physical adversarial camouflage poses a severe security threat to autonomous driving systems by mapping adversarial textures onto 3D objects. Nevertheless, current methods remain brittle in complex dynamic scenarios, failing to generalize across diverse geometric (e.g., viewing configurations) and radiometric (e.g., dynamic illumination, atmospheric scattering) variations. We attribute this deficiency to two fundamental limitations in simulation and optimization. First, the reliance on coarse, oversimplified simulations (e.g., via CARLA) induces a significant domain gap, confining optimization to a biased feature space. Second, standard strategies targeting average performance result in a rugged loss landscape, leaving the camouflage vulnerable to configuration shifts.To bridge these gaps, we propose the Relightable Physical 3D Gaussian Splatting (3DGS) based Attack framework (R-PGA). Technically, to address the simulation fidelity issue, we leverage 3DGS to ensure photo-realistic reconstruction and augment it with physically disentangled attributes to decouple intrinsic material from lighting. Furthermore, we design a hybrid rendering pipeline that leverages precise Relightable 3DGS for foreground rendering, while employing a pre-trained image translation model to synthesize plausible relighted backgrounds that align with the relighted foreground.To address the optimization robustness issue, we propose the Hard Physical Configuration Mining (HPCM) module, designed to actively mine worst-case physical configurations and suppress their corresponding loss peaks. This strategy not only diminishes the overall loss magnitude but also effectively flattens the rugged loss landscape, ensuring consistent adversarial effectiveness and robustness across varying physical configurations.