3D Gaussian Splat Vulnerabilities

📄 arXiv: 2506.00280v1 📥 PDF

作者: Matthew Hull, Haoyang Yang, Pratham Mehta, Mansi Phute, Aeree Cho, Haoran Wang, Matthew Lau, Wenke Lee, Willian T. Lunardi, Martin Andreoni, Polo Chau

分类: cs.CR, cs.CV, cs.LG

发布日期: 2025-05-30

备注: 4 pages, 4 figures, CVPR '25 Workshop on Neural Fields Beyond Conventional Cameras

💡 一句话要点

揭示3D高斯溅射漏洞：提出CLOAK和DAGGER攻击，威胁安全应用。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 对抗攻击 视角依赖性 目标检测 机器人学习

📋 核心要点

  1. 3D高斯溅射技术在安全关键应用中应用广泛，但其潜在的安全漏洞尚未得到充分重视。
  2. 论文提出CLOAK和DAGGER两种攻击方法，分别利用视角依赖性和直接扰动高斯分布来实现对抗攻击。
  3. 实验证明，这些攻击能够成功欺骗目标检测器，对自主导航等安全关键应用构成潜在威胁。

📝 摘要（中文）

随着3D高斯溅射(3DGS)在安全关键型应用中日益普及，本文探讨了攻击者如何操纵场景以造成危害。我们提出了CLOAK，这是第一个利用视角相关的外观（颜色和纹理随视角变化）来嵌入仅从特定视角可见的对抗性内容的攻击。此外，我们还展示了DAGGER，一种直接扰动3D高斯分布的定向对抗攻击，无需访问底层训练数据，通过投影梯度下降等既定方法欺骗多阶段目标检测器，例如Faster R-CNN。这些攻击突出了3DGS中未被充分研究的漏洞，为自主导航的机器人学习和其他安全关键型3DGS应用引入了一种新的潜在威胁。

🔬 方法详解

问题定义：现有3D高斯溅射技术在安全关键应用中面临对抗攻击的威胁。现有方法缺乏对视角依赖性和直接扰动高斯分布的防御机制，容易被攻击者利用，导致目标检测器失效，从而影响自主导航等应用的安全性。

核心思路：论文的核心思路是利用3D高斯溅射的视角依赖性以及直接扰动高斯分布的特性，设计对抗攻击方法。通过巧妙地嵌入对抗性内容或修改高斯分布参数，使得攻击仅在特定视角下可见或对特定目标检测器有效，从而实现隐蔽且有效的攻击。

技术框架：论文提出了两种攻击方法：CLOAK和DAGGER。CLOAK利用视角相关的外观，通过优化颜色和纹理，嵌入仅从特定视角可见的对抗性内容。DAGGER则直接扰动3D高斯分布的参数，通过投影梯度下降等方法，欺骗多阶段目标检测器。两种攻击都无需访问底层训练数据。

关键创新：论文的关键创新在于首次提出了针对3D高斯溅射的对抗攻击方法，并深入研究了视角依赖性和高斯分布扰动对目标检测器的影响。CLOAK攻击利用了3D高斯溅射的视角依赖性，实现了隐蔽的对抗攻击。DAGGER攻击则直接扰动高斯分布，绕过了传统的基于图像的对抗攻击方法。

关键设计：CLOAK攻击的关键设计在于优化视角相关的颜色和纹理，使得对抗性内容仅在特定视角下可见。DAGGER攻击的关键设计在于使用投影梯度下降等方法，在不访问底层训练数据的情况下，有效地扰动高斯分布参数，以欺骗目标检测器。损失函数的设计需要考虑目标检测器的特性，例如Faster R-CNN的损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了CLOAK和DAGGER攻击的有效性。实验结果表明，CLOAK攻击能够成功嵌入仅从特定视角可见的对抗性内容，而DAGGER攻击能够有效欺骗Faster R-CNN等目标检测器。这些攻击对3D高斯溅射技术的安全性提出了挑战，并为未来的研究提供了方向。

🎯 应用场景

该研究揭示了3D高斯溅射技术在安全关键应用中的潜在风险，例如自主导航、机器人操作和增强现实等。研究成果可用于开发更鲁棒的3D高斯溅射模型和防御机制，提高这些应用的安全性和可靠性。未来的研究可以探索更复杂的攻击方法和更有效的防御策略。

📄 摘要（原文）

With 3D Gaussian Splatting (3DGS) being increasingly used in safety-critical applications, how can an adversary manipulate the scene to cause harm? We introduce CLOAK, the first attack that leverages view-dependent Gaussian appearances - colors and textures that change with viewing angle - to embed adversarial content visible only from specific viewpoints. We further demonstrate DAGGER, a targeted adversarial attack directly perturbing 3D Gaussians without access to underlying training data, deceiving multi-stage object detectors e.g., Faster R-CNN, through established methods such as projected gradient descent. These attacks highlight underexplored vulnerabilities in 3DGS, introducing a new potential threat to robotic learning for autonomous navigation and other safety-critical 3DGS applications.