Poison-splat: Computation Cost Attack on 3D Gaussian Splatting

📄 arXiv: 2410.08190v2 📥 PDF

作者: Jiahao Lu, Yifan Zhang, Qiuhong Shen, Xinchao Wang, Shuicheng Yan

分类: cs.CV, cs.CR, cs.GR, cs.LG

发布日期: 2024-10-10 (更新: 2025-03-03)

备注: Accepted by ICLR 2025 as a spotlight paper

🔗 代码/项目: GITHUB

💡 一句话要点

提出Poison-splat攻击，揭示3D高斯溅射训练过程中的计算成本安全漏洞

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 对抗攻击 计算成本攻击 拒绝服务攻击 安全漏洞 深度学习安全

📋 核心要点

  1. 3D高斯溅射(3DGS)虽然高效，但缺乏对恶意输入的安全考量，存在计算成本被攻击的风险。
  2. Poison-splat攻击通过毒化输入图像，迫使3DGS训练消耗大量计算资源，甚至导致拒绝服务攻击。
  3. 该攻击通过双层优化和定制策略实现，能有效增加计算成本，且难以用简单方法防御。

📝 摘要（中文）

3D高斯溅射(3DGS)以其卓越的性能和效率而闻名，已成为一种主要的3D表示方法，并推动了许多3D视觉任务的进展。然而，本文揭示了3DGS中一个被严重忽视的安全漏洞：训练3DGS的计算成本可能因输入数据的恶意篡改而大幅增加。我们开发了一种名为Poison-splat的攻击方法，揭示了一种新的攻击面，攻击者可以通过毒化输入图像来大幅增加3DGS训练所需的计算内存和时间，从而将算法推向最坏的计算复杂度。在极端情况下，攻击甚至会消耗所有可分配的内存，导致拒绝服务(DoS)攻击，从而扰乱服务器，对现实世界的3DGS服务供应商造成实际损害。这种计算成本攻击是通过解决一个双层优化问题，并采用三种定制策略来实现的：攻击目标近似、代理模型渲染和可选的约束优化。这些策略不仅确保了攻击的有效性，而且使其难以通过简单的防御措施进行防御。我们希望这种新型攻击面的揭示能够引起人们对3DGS系统这一关键但被忽视的漏洞的关注。我们的代码可在https://github.com/jiahaolu97/poison-splat 获取。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射(3DGS)训练过程中存在的计算成本安全漏洞。现有3DGS方法在设计时主要关注渲染质量和效率，忽略了恶意输入可能导致的计算资源过度消耗问题。攻击者可以通过精心构造的对抗性样本，显著增加训练过程中的内存占用和计算时间，从而影响服务的可用性。

核心思路：论文的核心思路是通过毒化输入图像，使得3DGS在训练过程中需要生成和优化大量的3D高斯分布，从而显著增加计算成本。具体而言，攻击目标是最大化训练过程中的内存占用和计算时间，迫使算法达到最坏的计算复杂度。

技术框架：Poison-splat攻击框架主要包含以下几个阶段：1) 攻击目标近似：由于直接优化计算成本非常困难，因此采用可微的代理目标来近似计算成本，例如高斯分布的数量或梯度计算量。2) 代理模型渲染：使用一个可微的渲染模型（例如，基于神经网络的渲染器）来模拟3DGS的渲染过程，以便计算对抗性扰动。3) 可选约束优化：为了保证攻击的隐蔽性，可以添加约束条件，限制对抗性扰动的幅度，使其不易被察觉。

关键创新：该论文的关键创新在于揭示了3DGS训练过程中的计算成本攻击面，并提出了一种有效的攻击方法Poison-splat。与传统的对抗攻击不同，Poison-splat的目标不是降低模型的准确率，而是增加模型的计算成本，从而实现拒绝服务攻击。

关键设计：在攻击目标近似方面，论文尝试了不同的代理目标，例如高斯分布的数量和梯度计算量。在代理模型渲染方面，可以使用基于神经网络的渲染器或者简化的可微渲染模型。在约束优化方面，可以使用Lp范数约束来限制对抗性扰动的幅度。损失函数的设计需要平衡攻击效果和隐蔽性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了Poison-splat攻击的有效性，证明其能够显著增加3DGS训练过程中的内存占用和计算时间。在某些情况下，攻击甚至可以导致内存溢出，使得训练过程无法完成。实验结果表明，即使采用简单的防御措施，Poison-splat攻击仍然具有很强的攻击性。

🎯 应用场景

该研究揭示了3D高斯溅射在安全方面的潜在风险，可应用于评估和增强3DGS系统的鲁棒性。研究结果有助于开发更安全的3D重建和渲染服务，保护云服务提供商免受恶意攻击，并推动相关防御技术的发展，例如对抗训练和输入过滤。

📄 摘要（原文）

3D Gaussian splatting (3DGS), known for its groundbreaking performance and efficiency, has become a dominant 3D representation and brought progress to many 3D vision tasks. However, in this work, we reveal a significant security vulnerability that has been largely overlooked in 3DGS: the computation cost of training 3DGS could be maliciously tampered by poisoning the input data. By developing an attack named Poison-splat, we reveal a novel attack surface where the adversary can poison the input images to drastically increase the computation memory and time needed for 3DGS training, pushing the algorithm towards its worst computation complexity. In extreme cases, the attack can even consume all allocable memory, leading to a Denial-of-Service (DoS) that disrupts servers, resulting in practical damages to real-world 3DGS service vendors. Such a computation cost attack is achieved by addressing a bi-level optimization problem through three tailored strategies: attack objective approximation, proxy model rendering, and optional constrained optimization. These strategies not only ensure the effectiveness of our attack but also make it difficult to defend with simple defensive measures. We hope the revelation of this novel attack surface can spark attention to this crucial yet overlooked vulnerability of 3DGS systems. Our code is available at https://github.com/jiahaolu97/poison-splat .