DreaMark: Rooting Watermark in Score Distillation Sampling Generated Neural Radiance Fields

📄 arXiv: 2412.15278v1 📥 PDF

作者: Xingyu Zhu, Xiapu Luo, Xuetao Wei

分类: cs.GR, cs.AI

发布日期: 2024-12-18

💡 一句话要点

DreaMark：通过分数蒸馏采样在NeRF生成过程中嵌入水印，实现版权保护。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 水印 版权保护 分数蒸馏采样

📋 核心要点

  1. 现有NeRF水印方法存在生成后嵌入水印的延迟，且中间无水印NeRF易被盗用，版权保护存在漏洞。
  2. Dreamark通过在NeRF生成过程中进行后门攻击，将秘密消息嵌入NeRF，实现同步生成和水印嵌入。
  3. 实验证明，Dreamark水印不会降低NeRF生成质量，且对图像和模型层面的攻击具有90%以上的鲁棒性。

📝 摘要（中文）

近年来，文本到3D生成技术取得了显著进展，可以通过分数蒸馏采样生成神经辐射场（NeRFs），从而无需真实世界数据捕获即可创建3D资产。随着NeRF生成质量的快速提升，保护生成的NeRF的版权变得越来越重要。现有的NeRF水印方法存在两个漏洞：首先，由于秘密消息是在NeRF模型生成后通过微调嵌入的，因此NeRF生成和水印嵌入之间存在延迟。其次，生成一个无水印的NeRF作为中间步骤会产生潜在的盗窃漏洞。为了解决这两个问题，我们提出了Dreamark，通过在NeRF生成过程中对NeRF进行后门攻击来嵌入秘密消息。具体来说，我们首先预训练一个水印解码器。然后，Dreamark生成后门NeRF，使得目标秘密消息可以通过预训练的水印解码器在任意触发视口上进行验证。我们评估了生成质量和水印对图像和模型级别攻击的鲁棒性。大量实验表明，水印过程不会降低生成质量，并且水印在图像级别攻击（例如，高斯噪声）和模型级别攻击（例如，剪枝攻击）中均实现了90+%的准确率。

🔬 方法详解

问题定义：论文旨在解决文本到3D生成的NeRF模型的版权保护问题。现有水印方法的痛点在于：一是水印嵌入是在NeRF生成之后进行的，存在时间延迟；二是生成过程中存在一个无水印的NeRF中间状态，容易被窃取，导致版权风险。

核心思路：论文的核心思路是在NeRF生成过程中，通过后门攻击的方式将水印信息嵌入到NeRF模型中。这样可以避免生成后的水印嵌入延迟，并且从一开始就保护NeRF的版权，防止中间状态被盗用。

技术框架：Dreamark的技术框架主要包含两个阶段：1) 预训练水印解码器：该解码器用于从NeRF渲染的图像中提取水印信息。2) 后门NeRF生成：在NeRF生成过程中，通过特定的触发视口，将水印信息嵌入到NeRF模型中。具体来说，在分数蒸馏采样过程中，引入一个水印损失函数，引导NeRF生成带有水印的图像。

关键创新：Dreamark的关键创新在于将水印嵌入过程与NeRF生成过程融合在一起，通过后门攻击的方式实现水印嵌入。这种方法避免了传统水印方法的延迟和中间状态的版权风险。此外，Dreamark还设计了一种基于预训练解码器的水印验证方法，可以在任意触发视口上验证水印信息。

关键设计：在后门NeRF生成阶段，论文引入了一个水印损失函数，该损失函数用于衡量生成的图像中水印信息的强度。该损失函数的设计需要平衡生成质量和水印鲁棒性。此外，触发视口的选择也是一个关键设计，需要选择能够有效激活后门的水印信息，同时又不影响NeRF的生成质量的视口。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DreaMark水印方法在不显著降低NeRF生成质量的前提下，能够有效抵抗各种图像和模型层面的攻击。具体来说，在图像层面的高斯噪声攻击和模型层面的剪枝攻击下，DreaMark水印的准确率均达到90%以上，证明了其良好的鲁棒性。

🎯 应用场景

DreaMark技术可应用于各种3D资产的版权保护，例如游戏、电影、建筑设计等领域。通过在NeRF生成过程中嵌入水印，可以有效防止3D模型的非法复制和传播，维护创作者的权益。该技术还有助于建立一个更加安全和可信的3D内容生态系统。

📄 摘要（原文）

Recent advancements in text-to-3D generation can generate neural radiance fields (NeRFs) with score distillation sampling, enabling 3D asset creation without real-world data capture. With the rapid advancement in NeRF generation quality, protecting the copyright of the generated NeRF has become increasingly important. While prior works can watermark NeRFs in a post-generation way, they suffer from two vulnerabilities. First, a delay lies between NeRF generation and watermarking because the secret message is embedded into the NeRF model post-generation through fine-tuning. Second, generating a non-watermarked NeRF as an intermediate creates a potential vulnerability for theft. To address both issues, we propose Dreamark to embed a secret message by backdooring the NeRF during NeRF generation. In detail, we first pre-train a watermark decoder. Then, the Dreamark generates backdoored NeRFs in a way that the target secret message can be verified by the pre-trained watermark decoder on an arbitrary trigger viewport. We evaluate the generation quality and watermark robustness against image- and model-level attacks. Extensive experiments show that the watermarking process will not degrade the generation quality, and the watermark achieves 90+% accuracy among both image-level attacks (e.g., Gaussian noise) and model-level attacks (e.g., pruning attack).