Perturb-and-Revise: Flexible 3D Editing with Generative Trajectories

📄 arXiv: 2412.05279v2 📥 PDF

作者: Susung Hong, Johanna Karras, Ricardo Martin-Brualla, Ira Kemelmacher-Shlizerman

分类: cs.CV

发布日期: 2024-12-06 (更新: 2025-03-20)

备注: CVPR 2025. Project page: https://susunghong.github.io/Perturb-and-Revise

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

Perturb-and-Revise：基于生成轨迹的灵活NeRF 3D编辑方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: NeRF编辑 3D生成模型 文本驱动编辑 生成轨迹 几何编辑 外观编辑 扩散模型

📋 核心要点

  1. 现有3D编辑方法在颜色、纹理和风格修改方面表现出色，但在几何或外观的显著改变上存在局限性。
  2. Perturb-and-Revise通过扰动NeRF参数并结合生成轨迹进行修正，实现了对NeRF的灵活编辑。
  3. 实验结果表明，该方法能够有效且一致地编辑3D模型的颜色、外观和几何形状。

📝 摘要（中文）

本文提出了一种名为Perturb-and-Revise的方法，旨在实现NeRF的灵活3D编辑。现有基于文本的扩散模型在3D重建和编辑方面取得了显著进展，但在进行大幅度的几何或外观修改时仍面临挑战，限制了其应用。Perturb-and-Revise首先通过随机初始化扰动NeRF参数，创建一个通用的初始化状态，扰动程度通过分析局部损失情况自动确定。然后，通过生成轨迹修正编辑后的NeRF。结合生成过程，施加保持身份的梯度来优化编辑后的NeRF。大量实验表明，Perturb-and-Revise能够灵活、有效且一致地编辑3D模型的颜色、外观和几何形状。

🔬 方法详解

问题定义：现有基于文本的3D编辑方法，虽然在颜色、纹理和风格等局部外观修改上表现良好，但在需要进行大幅度的几何结构改变或者整体外观风格转换时，效果往往不尽如人意。这些方法难以处理复杂的形变和材质变化，限制了其应用范围。

核心思路：Perturb-and-Revise的核心思路是首先通过对NeRF参数进行扰动，使其跳出局部最优解，从而获得一个更具探索性的初始化状态。然后，利用生成模型引导NeRF参数沿着生成轨迹进行修正，逐步达到期望的编辑效果。这种先“破坏”再“重建”的策略，使得模型能够更容易地摆脱原始形状的束缚，实现更自由的编辑。

技术框架：Perturb-and-Revise主要包含两个阶段：扰动（Perturb）和修正（Revise）。在扰动阶段，通过随机初始化NeRF参数，并根据局部损失情况自动调整扰动程度。在修正阶段，利用生成模型生成编辑轨迹，并结合身份保持梯度，逐步优化NeRF参数，最终得到编辑后的3D模型。

关键创新：该方法最重要的创新点在于结合了扰动和生成轨迹的思想。通过扰动，模型能够探索更大的参数空间，避免陷入局部最优。通过生成轨迹，模型能够沿着语义相关的方向进行优化，保证编辑结果的合理性和一致性。同时，身份保持梯度的引入，能够避免编辑过程中出现身份信息的丢失。

关键设计：Perturb阶段的关键在于扰动程度的控制，论文通过分析局部损失情况来自动确定扰动程度，避免过度扰动导致模型崩溃，也避免扰动不足无法跳出局部最优。Revise阶段的关键在于生成轨迹的设计，需要选择合适的生成模型，并设计合适的损失函数来引导NeRF参数的优化。身份保持梯度则通过约束编辑后的模型与原始模型在身份信息上的相似性来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Perturb-and-Revise在3D模型的颜色、外观和几何形状编辑方面取得了显著的提升。与现有方法相比，Perturb-and-Revise能够实现更大幅度的几何结构改变和更自由的外观风格转换，同时保持编辑结果的一致性和合理性。项目主页提供了360°的展示结果，进一步验证了该方法的有效性。

🎯 应用场景

Perturb-and-Revise具有广泛的应用前景，例如游戏资产生成、虚拟现实内容创作、产品设计等。用户可以通过文本描述快速修改3D模型的几何形状、外观风格，从而大大提高创作效率。该方法还可以应用于3D模型的修复和增强，例如修复破损的3D模型，或者增强3D模型的细节。

📄 摘要（原文）

Recent advancements in text-based diffusion models have accelerated progress in 3D reconstruction and text-based 3D editing. Although existing 3D editing methods excel at modifying color, texture, and style, they struggle with extensive geometric or appearance changes, thus limiting their applications. To this end, we propose Perturb-and-Revise, which makes possible a variety of NeRF editing. First, we perturb the NeRF parameters with random initializations to create a versatile initialization. The level of perturbation is determined automatically through analysis of the local loss landscape. Then, we revise the edited NeRF via generative trajectories. Combined with the generative process, we impose identity-preserving gradients to refine the edited NeRF. Extensive experiments demonstrate that Perturb-and-Revise facilitates flexible, effective, and consistent editing of color, appearance, and geometry in 3D. For 360° results, please visit our project page: https://susunghong.github.io/Perturb-and-Revise.