Spectral Defense Against Resource-Targeting Attack in 3D Gaussian Splatting
作者: Yang Chen, Yi Yu, Jiaming He, Yueqi Duan, Zheng Zhu, Yap-Peng Tan
分类: cs.CV
发布日期: 2026-03-13
💡 一句话要点
提出频谱防御机制，解决3D高斯溅射中资源耗尽攻击问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 资源目标攻击 频谱防御 频率滤波 频谱正则化
📋 核心要点
- 3D高斯溅射易受资源目标攻击，中毒图像诱导高斯过度增长，导致资源耗尽和性能下降。
- 提出频谱防御机制，包括3D频率滤波和2D频谱正则化，抑制异常高频噪声，约束高斯增长。
- 实验表明，该方法能有效抑制高斯过度增长，显著降低内存占用，并提高渲染速度和场景保真度。
📝 摘要（中文）
本文针对3D高斯溅射(3DGS)中存在的资源目标攻击问题，提出了一种频谱防御机制。该攻击通过毒化训练图像，过度诱导高斯增长，导致资源耗尽。现有方法主要集中在空间域，忽略了隐蔽扰动对训练数据频谱行为的影响。本文发现，中毒输入会引入异常的高频放大，误导3DGS将噪声模式解释为细节结构，导致不稳定的高斯过度增长和场景保真度下降。为了解决这个问题，本文提出了高斯和图像域中的频谱防御。首先设计了一个3D频率滤波器，选择性地修剪表现出异常高频率的高斯。然后，在渲染上开发了2D频谱正则化，区分自然各向同性频率，同时惩罚各向异性能量以约束噪声模式。实验表明，该防御机制构建了鲁棒、准确和安全的3DGS，在攻击下抑制过度增长高达5.92倍，减少内存高达3.66倍，并将速度提高高达4.34倍。
🔬 方法详解
问题定义：3D高斯溅射(3DGS)在高质量渲染方面取得了显著进展，但其高斯表示也暴露了一个新的攻击面：资源目标攻击。这种攻击通过恶意修改训练图像（即中毒），过度诱导高斯分布的增长，从而导致计算资源和内存资源的耗尽。现有的防御方法，如平滑、阈值处理和剪枝等，主要在空间域进行操作，关注可见的结构，但忽略了中毒图像对训练数据频谱特性的影响。这些方法无法有效识别和抑制由中毒图像引入的异常高频噪声，导致3DGS将噪声误认为细节，最终造成高斯分布的过度增长和场景质量的下降。
核心思路：本文的核心思路是在频谱域对3DGS进行防御。作者观察到，中毒图像会引入异常的高频分量，这些高频分量与自然场景中的高频细节不同。因此，通过在频谱域对高斯分布和渲染图像进行滤波和正则化，可以有效地抑制这些异常高频噪声，从而防止高斯分布的过度增长。具体来说，作者设计了一个3D频率滤波器来选择性地修剪具有异常高频率的高斯分布，并开发了一个2D频谱正则化器来约束渲染图像中的噪声模式。
技术框架：该方法主要包含两个阶段：3D频率滤波和2D频谱正则化。首先，对3D高斯分布进行傅里叶变换，得到其频谱表示。然后，设计一个3D频率滤波器，用于衰减高频分量，从而修剪具有异常高频率的高斯分布。其次，对渲染图像进行傅里叶变换，得到其频谱表示。然后，设计一个2D频谱正则化器，用于区分自然各向同性频率和噪声引起的各向异性能量，并对后者进行惩罚，从而约束噪声模式。这两个阶段共同作用，可以有效地抑制高频噪声，防止高斯分布的过度增长。
关键创新：该方法最重要的技术创新点在于将频谱分析和处理引入到3DGS的防御中。与传统的空间域方法不同，该方法能够直接在频谱域识别和抑制由中毒图像引入的异常高频噪声。这种频谱域的防御策略能够更有效地防止高斯分布的过度增长，并提高场景的保真度。
关键设计：3D频率滤波器的设计需要考虑如何选择合适的截止频率，以避免过度平滑场景细节。2D频谱正则化器的设计需要考虑如何区分自然各向同性频率和噪声引起的各向异性能量。作者通过实验确定了合适的截止频率和正则化系数。此外，损失函数中加入了频谱正则化项，用于约束渲染图像的频谱特性。具体的网络结构和参数设置在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够有效地抑制高斯分布的过度增长，在资源目标攻击下，与现有方法相比，该方法可以将高斯分布的增长抑制高达5.92倍，减少内存占用高达3.66倍，并将渲染速度提高高达4.34倍。同时，该方法还能够提高场景的保真度，减少由中毒图像引起的伪影。
🎯 应用场景
该研究成果可应用于各种需要使用3D高斯溅射进行场景重建和渲染的领域，例如自动驾驶、虚拟现实、增强现实、游戏开发等。通过提高3DGS的鲁棒性和安全性，可以防止恶意攻击者通过中毒图像来破坏场景的质量和性能，从而保证系统的稳定性和可靠性。该研究还有助于推动3DGS技术在安全敏感领域的应用。
📄 摘要（原文）
Recent advances in 3D Gaussian Splatting (3DGS) deliver high-quality rendering, yet the Gaussian representation exposes a new attack surface, the resource-targeting attack. This attack poisons training images, excessively inducing Gaussian growth to cause resource exhaustion. Although efficiency-oriented methods such as smoothing, thresholding, and pruning have been explored, these spatial-domain strategies operate on visible structures but overlook how stealthy perturbations distort the underlying spectral behaviors of training data. As a result, poisoned inputs introduce abnormal high-frequency amplifications that mislead 3DGS into interpreting noisy patterns as detailed structures, ultimately causing unstable Gaussian overgrowth and degraded scene fidelity. To address this, we propose \textbf{Spectral Defense} in Gaussian and image fields. We first design a 3D frequency filter to selectively prune Gaussians exhibiting abnormally high frequencies. Since natural scenes also contain legitimate high-frequency structures, directly suppressing high frequencies is insufficient, and we further develop a 2D spectral regularization on renderings, distinguishing naturally isotropic frequencies while penalizing anisotropic angular energy to constrain noisy patterns. Experiments show that our defense builds robust, accurate, and secure 3DGS, suppressing overgrowth by up to $5.92\times$, reducing memory by up to $3.66\times$, and improving speed by up to $4.34\times$ under attacks.