WateRF: Robust Watermarks in Radiance Fields for Protection of Copyrights

📄 arXiv: 2405.02066v4 📥 PDF

作者: Youngdong Jang, Dong In Lee, MinHyuk Jang, Jong Wook Kim, Feng Yang, Sangpil Kim

分类: cs.CV, eess.IV

发布日期: 2024-05-03 (更新: 2024-07-12)

💡 一句话要点

提出WateRF：一种针对NeRF的鲁棒水印方法，用于保护版权

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 水印 版权保护 离散小波变换

📋 核心要点

  1. 现有NeRF水印方法局限于隐式或显式表示，缺乏对两种NeRF表示的通用性。
  2. WateRF通过在NeRF空间中利用离散小波变换嵌入二值消息，实现对两种NeRF表示的水印嵌入。
  3. 实验表明，WateRF在容量、不可见性和鲁棒性方面均优于现有方法，且训练速度更快。

📝 摘要（中文）

神经辐射场（NeRF）研究的进展为各个领域提供了广泛的应用，但对其版权的保护尚未进行深入研究。最近，NeRF水印技术被认为是安全部署基于NeRF的3D表示的关键解决方案之一。然而，现有的方法仅适用于隐式或显式NeRF表示。本文提出了一种创新的水印方法，可用于NeRF的两种表示。通过微调NeRF，将二值消息嵌入到渲染过程中来实现。具体来说，我们建议在NeRF空间中使用离散小波变换进行水印处理。此外，我们采用了一种延迟反向传播技术，并结合了patch-wise损失，以在最小的权衡下提高渲染质量和比特准确率。我们在三个不同的方面评估了我们的方法：嵌入在2D渲染图像中的水印的容量、不可见性和鲁棒性。与最先进的方法相比，我们的方法实现了最先进的性能，并且训练速度更快。

🔬 方法详解

问题定义：现有的NeRF水印方法主要针对隐式或显式NeRF表示，缺乏一种通用的水印方案，能够同时适用于两种表示。此外，如何在保证水印不可见性的同时，提高水印的鲁棒性和容量，也是一个挑战。

核心思路：WateRF的核心思路是在NeRF的渲染过程中嵌入二值消息，通过微调NeRF参数来实现。利用离散小波变换（DWT）将水印信息嵌入到NeRF空间中，从而实现对两种NeRF表示的兼容。同时，采用延迟反向传播和patch-wise损失来优化渲染质量和水印准确率。

技术框架：WateRF的水印嵌入过程主要包括以下几个步骤：1) 选择合适的NeRF模型（隐式或显式）；2) 对NeRF的输出进行离散小波变换；3) 将二值水印信息嵌入到DWT系数中；4) 通过微调NeRF参数，使得渲染结果包含嵌入的水印信息。水印提取过程则相反，首先对渲染结果进行DWT，然后提取嵌入的水印信息。

关键创新：WateRF的关键创新在于：1) 提出了一种通用的NeRF水印方法，可以同时适用于隐式和显式NeRF表示；2) 利用离散小波变换在NeRF空间中嵌入水印，提高了水印的容量和鲁棒性；3) 采用延迟反向传播和patch-wise损失，在保证渲染质量的同时，提高了水印的准确率。与现有方法相比，WateRF具有更好的通用性、鲁棒性和效率。

关键设计：WateRF的关键设计包括：1) DWT的尺度和子带选择，需要根据NeRF的特性进行调整，以保证水印的不可见性和鲁棒性；2) 延迟反向传播的步长和学习率需要仔细调整，以避免影响渲染质量；3) Patch-wise损失的权重需要根据具体场景进行调整，以平衡渲染质量和水印准确率。此外，二值水印信息的编码方式也会影响水印的容量和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WateRF在容量、不可见性和鲁棒性三个方面均取得了state-of-the-art的性能。实验结果表明，WateRF能够嵌入高容量的水印，同时保持渲染图像的视觉质量。此外，WateRF对常见的图像处理操作（例如：裁剪、缩放、旋转）具有较强的鲁棒性。更重要的是，WateRF的训练速度明显快于现有的NeRF水印方法。

🎯 应用场景

WateRF可应用于各种基于NeRF的3D内容版权保护场景，例如：在线3D模型展示、虚拟现实/增强现实应用、游戏开发等。通过嵌入水印，可以有效防止未经授权的复制和传播，维护内容创作者的权益。未来，该技术还可以扩展到其他类型的神经表示，例如神经材质和神经光照。

📄 摘要（原文）

The advances in the Neural Radiance Fields (NeRF) research offer extensive applications in diverse domains, but protecting their copyrights has not yet been researched in depth. Recently, NeRF watermarking has been considered one of the pivotal solutions for safely deploying NeRF-based 3D representations. However, existing methods are designed to apply only to implicit or explicit NeRF representations. In this work, we introduce an innovative watermarking method that can be employed in both representations of NeRF. This is achieved by fine-tuning NeRF to embed binary messages in the rendering process. In detail, we propose utilizing the discrete wavelet transform in the NeRF space for watermarking. Furthermore, we adopt a deferred back-propagation technique and introduce a combination with the patch-wise loss to improve rendering quality and bit accuracy with minimum trade-offs. We evaluate our method in three different aspects: capacity, invisibility, and robustness of the embedded watermarks in the 2D-rendered images. Our method achieves state-of-the-art performance with faster training speed over the compared state-of-the-art methods.