GaussianMarker: Uncertainty-Aware Copyright Protection of 3D Gaussian Splatting

📄 arXiv: 2410.23718v1 📥 PDF

作者: Xiufeng Huang, Ruiqi Li, Yiu-ming Cheung, Ka Chun Cheung, Simon See, Renjie Wan

分类: cs.CV

发布日期: 2024-10-31

💡 一句话要点

提出GaussianMarker，实现3D高斯溅射模型的版权保护与隐形水印嵌入。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 数字水印 版权保护 不确定性建模 隐形水印

📋 核心要点

  1. 现有网格、点云和隐式辐射场的水印方法无法直接应用于3DGS模型，直接嵌入水印易导致渲染失真。
  2. 提出一种基于不确定性的方法，约束模型参数扰动，实现3DGS模型的隐形水印嵌入，保证渲染质量。
  3. 实验表明，该方法在Blender、LLFF和MipNeRF-360数据集上，实现了优异的消息解码准确性和视图合成质量。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为获取3D资产的关键方法。为了保护这些资产的版权，可以将数字水印技术应用于3DGS模型中，以在其中谨慎地嵌入所有权信息。然而，现有的针对网格、点云和隐式辐射场的水印方法不能直接应用于3DGS模型，因为3DGS模型使用具有独特结构的显式3D高斯函数，并且不依赖于神经网络。简单地在预训练的3DGS上嵌入水印会导致渲染图像中出现明显的失真。在我们的工作中，我们提出了一种基于不确定性的方法，该方法约束模型参数的扰动，以实现3DGS的隐形水印。在消息解码阶段，即使在各种形式的3D和2D失真下，也可以从3D高斯和2D渲染图像中可靠地提取版权消息。我们在Blender、LLFF和MipNeRF-360数据集上进行了广泛的实验，以验证我们提出的方法的有效性，证明了在消息解码准确性和视图合成质量方面的最先进性能。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射(3DGS)模型的版权保护问题。现有的水印方法主要针对网格、点云或隐式辐射场，无法直接应用于3DGS模型。直接在3DGS模型上嵌入水印会导致渲染图像出现明显的视觉失真，影响用户体验。因此，如何在不影响渲染质量的前提下，为3DGS模型添加鲁棒的水印是本研究要解决的核心问题。

核心思路：论文的核心思路是利用3DGS模型参数的不确定性，在不确定性较高的参数上嵌入水印，从而最小化对渲染结果的影响。通过约束模型参数的扰动，确保水印的不可见性。同时，设计鲁棒的解码方法，即使在模型受到各种攻击（如3D和2D失真）后，也能准确提取水印信息。

技术框架：该方法主要包含两个阶段：水印嵌入阶段和水印提取阶段。在水印嵌入阶段，首先分析3DGS模型参数的不确定性，然后根据不确定性大小，对选定的参数进行微小的扰动，嵌入水印信息。在水印提取阶段，从3DGS模型或渲染图像中提取参数，并使用相应的解码算法恢复水印信息。整个流程无需重新训练3DGS模型，属于后处理方法。

关键创新：该方法的关键创新在于：1) 提出了一种基于不确定性的水印嵌入策略，能够有效地控制水印对渲染质量的影响。2) 设计了鲁棒的水印解码算法，能够抵抗各种3D和2D失真攻击。3) 将水印技术成功应用于新兴的3DGS模型，拓展了数字水印技术的应用范围。

关键设计：论文的关键设计包括：1) 使用方差作为参数不确定性的度量，选择方差较大的参数进行水印嵌入。2) 设计了特定的扰动函数，将水印信息编码到参数中。3) 采用了基于相关性的解码算法，能够有效地提取水印信息，即使在模型受到攻击后也能保持较高的解码准确率。具体参数设置和损失函数细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Blender、LLFF和MipNeRF-360数据集上均取得了良好的效果。在保证视图合成质量的前提下，水印解码准确率达到了state-of-the-art水平。即使在模型受到各种3D和2D失真攻击后，仍能保持较高的解码准确率。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于3D资产的版权保护，例如游戏、电影、建筑设计等领域。通过嵌入水印，可以有效防止未经授权的复制和传播，维护创作者的权益。此外，该技术还可以用于3D模型的溯源和认证，提高3D资产的可信度。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has become a crucial method for acquiring 3D assets. To protect the copyright of these assets, digital watermarking techniques can be applied to embed ownership information discreetly within 3DGS models. However, existing watermarking methods for meshes, point clouds, and implicit radiance fields cannot be directly applied to 3DGS models, as 3DGS models use explicit 3D Gaussians with distinct structures and do not rely on neural networks. Naively embedding the watermark on a pre-trained 3DGS can cause obvious distortion in rendered images. In our work, we propose an uncertainty-based method that constrains the perturbation of model parameters to achieve invisible watermarking for 3DGS. At the message decoding stage, the copyright messages can be reliably extracted from both 3D Gaussians and 2D rendered images even under various forms of 3D and 2D distortions. We conduct extensive experiments on the Blender, LLFF and MipNeRF-360 datasets to validate the effectiveness of our proposed method, demonstrating state-of-the-art performance on both message decoding accuracy and view synthesis quality.