$S^2$NeRF: Privacy-preserving Training Framework for NeRF

📄 arXiv: 2409.01661v1 📥 PDF

作者: Bokang Zhang, Yanglin Zhang, Zhikun Zhang, Jinglan Yang, Lingying Huang, Junfeng Wu

分类: cs.CR, cs.CV, cs.LG

发布日期: 2024-09-03

备注: To appear in the ACM Conference on Computer and Communications Security (CCS'24), October 14-18, 2024, Salt Lake City, UT, USA

💡 一句话要点

提出$S^2$NeRF，解决NeRF训练中数据隐私泄露问题，实现安全NeRF训练。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 隐私保护 分割学习 梯度噪声 三维重建

📋 核心要点

  1. NeRF依赖大量敏感图像数据，用户上传训练面临隐私泄露风险，现有方法缺乏有效保护。
  2. 提出$S^2$NeRF，通过在分割学习框架中引入梯度范数相关的衰减噪声，实现隐私保护。
  3. 实验证明，$S^2$NeRF能有效防御隐私攻击，保证NeRF模型可用性，适用于敏感场景。

📝 摘要（中文）

神经辐射场(NeRF)彻底改变了3D计算机视觉和图形学，促进了新视点合成，并影响了扩展现实和电子商务等领域。然而，NeRF依赖于大量的数据收集，包括敏感的场景图像数据，当用户上传这些数据进行模型训练时，会带来显著的隐私风险。为了解决这个问题，我们首先提出了SplitNeRF，一个结合了分割学习(SL)技术的训练框架，可以在不共享本地数据的情况下，实现客户端和服务器之间隐私保护的协同模型训练。尽管SplitNeRF有其优点，但我们通过开发两种攻击方法，即代理模型攻击和场景辅助代理模型攻击，发现了SplitNeRF的漏洞，这些攻击方法利用共享的梯度数据和少量泄露的场景图像来重建私有场景信息。为了应对这些威胁，我们引入了$S^2$NeRF，即安全的SplitNeRF，它集成了有效的防御机制。通过将与梯度范数相关的衰减噪声引入到共享的梯度信息中，$S^2$NeRF在保持NeRF模型高可用性的同时，保护了隐私。我们在多个数据集上进行的大量评估表明，$S^2$NeRF能够有效防止隐私泄露，证实了其在敏感应用中安全NeRF训练的可行性。

🔬 方法详解

问题定义：NeRF模型训练依赖大量场景图像数据，用户上传数据进行训练时存在隐私泄露风险。现有的分割学习方法（如SplitNeRF）虽然尝试解决这个问题，但仍然存在漏洞，容易受到代理模型攻击和场景辅助代理模型攻击，导致私有场景信息被重建。

核心思路：核心思路是在分割学习框架下，通过向共享的梯度信息中添加与梯度范数相关的衰减噪声，来混淆攻击者，阻止其重建私有场景信息。这种方法旨在在隐私保护和模型效用之间取得平衡，既能有效防御攻击，又能保证NeRF模型的性能。

技术框架：$S^2$NeRF基于SplitNeRF框架，包含客户端和服务器两部分。客户端负责本地数据的处理和部分模型的训练，并将梯度信息发送给服务器。服务器接收梯度信息，完成剩余模型的训练，并将更新后的模型参数发送回客户端。关键在于，客户端在发送梯度信息之前，会添加与梯度范数相关的衰减噪声。

关键创新：关键创新在于引入了与梯度范数相关的衰减噪声。这种噪声的幅度与梯度的范数相关，这意味着在梯度较大的方向上添加的噪声也较大，从而更好地保护了敏感信息。同时，噪声是衰减的，这意味着随着训练的进行，噪声的幅度会逐渐减小，从而保证模型的收敛性和性能。

关键设计：关键设计包括噪声的添加方式和衰减策略。噪声通常是高斯噪声，其标准差与梯度范数成正比。衰减策略可以是线性的或指数的，目的是在训练初期提供较强的隐私保护，并在训练后期逐渐减小噪声，以提高模型性能。损失函数与原始NeRF相同，但需要根据添加的噪声进行调整，以保证训练的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，$S^2$NeRF能够有效防御代理模型攻击和场景辅助代理模型攻击，在多个数据集上实现了显著的隐私保护效果。与SplitNeRF相比，$S^2$NeRF在保证模型性能基本不变的情况下，大大降低了隐私泄露的风险。具体而言，攻击者重建场景信息的准确率显著下降，证明了$S^2$NeRF的有效性。

🎯 应用场景

$S^2$NeRF可应用于需要保护用户隐私的3D场景重建和新视点合成任务中，例如：自动驾驶地图构建、室内场景重建、虚拟现实/增强现实应用、电子商务产品展示等。该方法能够让用户在不泄露原始数据的情况下，参与到NeRF模型的训练中，从而促进NeRF技术在更广泛领域的应用。

📄 摘要（原文）

Neural Radiance Fields (NeRF) have revolutionized 3D computer vision and graphics, facilitating novel view synthesis and influencing sectors like extended reality and e-commerce. However, NeRF's dependence on extensive data collection, including sensitive scene image data, introduces significant privacy risks when users upload this data for model training. To address this concern, we first propose SplitNeRF, a training framework that incorporates split learning (SL) techniques to enable privacy-preserving collaborative model training between clients and servers without sharing local data. Despite its benefits, we identify vulnerabilities in SplitNeRF by developing two attack methods, Surrogate Model Attack and Scene-aided Surrogate Model Attack, which exploit the shared gradient data and a few leaked scene images to reconstruct private scene information. To counter these threats, we introduce $S^2$NeRF, secure SplitNeRF that integrates effective defense mechanisms. By introducing decaying noise related to the gradient norm into the shared gradient information, $S^2$NeRF preserves privacy while maintaining a high utility of the NeRF model. Our extensive evaluations across multiple datasets demonstrate the effectiveness of $S^2$NeRF against privacy breaches, confirming its viability for secure NeRF training in sensitive applications.