Preserving Identity with Variational Score for General-purpose 3D Editing

📄 arXiv: 2406.08953v1 📥 PDF

作者: Duong H. Le, Tuan Pham, Aniruddha Kembhavi, Stephan Mandt, Wei-Chiu Ma, Jiasen Lu

分类: cs.CV, cs.LG

发布日期: 2024-06-13

备注: 22 pages, 14 figures

💡 一句话要点

Piva：基于变分Score蒸馏的通用3D编辑方法，保持身份信息

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D编辑 扩散模型 NeRF 变分推断 Score蒸馏 身份保持 零样本学习

📋 核心要点

  1. 现有基于扩散模型的图像和3D编辑方法，如DDS，存在细节丢失和过度饱和的问题，影响编辑质量。
  2. Piva通过引入变分Score蒸馏项，在优化过程中强制保持身份信息，从而稳定编辑过程并保留输入特征。
  3. 实验表明，Piva在零样本图像和神经场编辑中有效，并在标准基准上取得了有竞争力的结果，且无需掩码或预训练。

📝 摘要（中文）

本文提出了一种名为Piva（Preserving Identity with Variational Score Distillation）的优化方法，用于基于扩散模型编辑图像和3D模型。该方法受到近期提出的2D图像编辑方法Delta Denoising Score (DDS)的启发。论文指出了DDS在2D和3D编辑中的局限性，即细节丢失和过度饱和。为了解决这个问题，论文增加了一个额外的score蒸馏项，以强制保持身份信息。这使得编辑过程更加稳定，逐步优化NeRF模型以匹配目标提示，同时保留关键的输入特征。实验证明了该方法在零样本图像和神经场编辑中的有效性。该方法成功地改变了视觉属性，添加了细微和显著的结构元素，转换了形状，并在标准的2D和3D编辑基准上取得了有竞争力的结果。此外，该方法没有施加任何约束，如掩码或预训练，使其与各种预训练的扩散模型兼容。这使得编辑更加通用，无需神经场到网格的转换，提供了更友好的用户体验。

🔬 方法详解

问题定义：现有的基于扩散模型的图像和3D编辑方法，例如Delta Denoising Score (DDS)，在编辑过程中容易出现细节丢失和过度饱和的问题。这意味着编辑后的图像或3D模型可能失去原始对象的关键特征，导致身份信息丢失，影响编辑质量。

核心思路：Piva的核心思路是在DDS的基础上，增加一个额外的score蒸馏项，该项旨在强制保持编辑对象的身份信息。通过在优化过程中同时考虑目标提示和身份保持，Piva能够更稳定地优化NeRF模型，使其在匹配目标提示的同时，保留关键的输入特征。

技术框架：Piva的整体框架基于优化方法，利用预训练的扩散模型作为先验知识。其主要流程包括：1) 初始化NeRF模型；2) 使用扩散模型生成目标图像或3D模型的score；3) 利用DDS方法更新NeRF模型，使其匹配目标score；4) 引入变分score蒸馏项，强制NeRF模型保持原始对象的身份信息；5) 迭代优化NeRF模型，直至满足编辑要求。

关键创新：Piva的关键创新在于引入了变分score蒸馏项，用于在编辑过程中保持身份信息。与DDS等方法相比，Piva能够更有效地保留原始对象的关键特征，避免细节丢失和过度饱和的问题。此外，Piva无需掩码或预训练，使其与各种预训练的扩散模型兼容，具有更强的通用性。

关键设计：Piva的关键设计包括：1) 变分score蒸馏项的构建，该项基于变分推断，用于估计原始对象的score分布；2) 损失函数的选择，Piva采用加权损失函数，同时考虑目标提示和身份保持，通过调整权重平衡两者之间的关系；3) 优化算法的选择，Piva采用Adam优化器，并设置合适的学习率和迭代次数，以保证优化过程的稳定性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Piva在零样本图像和神经场编辑任务上取得了显著成果。实验结果表明，Piva能够有效地改变视觉属性，添加细微和显著的结构元素，转换形状，并在标准2D和3D编辑基准上取得了有竞争力的结果。与DDS等基线方法相比，Piva能够更好地保持身份信息，避免细节丢失和过度饱和的问题。此外，Piva无需掩码或预训练，具有更强的通用性和易用性。

🎯 应用场景

Piva具有广泛的应用前景，包括：图像编辑、3D模型编辑、虚拟现实、增强现实、游戏开发、电影制作等领域。该方法可以用于快速生成具有特定风格和属性的图像和3D模型，提高创作效率，降低制作成本。此外，Piva还可以用于修复和增强现有的图像和3D模型，提升视觉质量和用户体验。未来，Piva有望成为一种通用的图像和3D编辑工具，赋能各行各业。

📄 摘要（原文）

We present Piva (Preserving Identity with Variational Score Distillation), a novel optimization-based method for editing images and 3D models based on diffusion models. Specifically, our approach is inspired by the recently proposed method for 2D image editing - Delta Denoising Score (DDS). We pinpoint the limitations in DDS for 2D and 3D editing, which causes detail loss and over-saturation. To address this, we propose an additional score distillation term that enforces identity preservation. This results in a more stable editing process, gradually optimizing NeRF models to match target prompts while retaining crucial input characteristics. We demonstrate the effectiveness of our approach in zero-shot image and neural field editing. Our method successfully alters visual attributes, adds both subtle and substantial structural elements, translates shapes, and achieves competitive results on standard 2D and 3D editing benchmarks. Additionally, our method imposes no constraints like masking or pre-training, making it compatible with a wide range of pre-trained diffusion models. This allows for versatile editing without needing neural field-to-mesh conversion, offering a more user-friendly experience.