ReStyle3D: Scene-Level Appearance Transfer with Semantic Correspondences

📄 arXiv: 2502.10377v2 📥 PDF

作者: Liyuan Zhu, Shengqu Cai, Shengyu Huang, Gordon Wetzstein, Naji Khosravan, Iro Armeni

分类: cs.CV, cs.GR

发布日期: 2025-02-14 (更新: 2025-04-25)

备注: SIGGRAPH 2025. Project page: https://restyle3d.github.io/

💡 一句话要点

ReStyle3D：基于语义对应关系的场景级外观迁移框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 风格迁移 语义对应 多视角一致性 扩散模型 场景理解

📋 核心要点

  1. 现有风格迁移方法难以在多视角场景中保持语义一致性和结构完整性，导致风格化效果不理想。
  2. ReStyle3D利用语义分割建立风格图像和多视角场景的对应关系，并结合扩散模型和warp-and-refine网络实现风格迁移。
  3. 实验结果表明，ReStyle3D在结构保持、风格相似性和多视角一致性方面均优于现有方法，并生成更逼真的风格化结果。

📝 摘要（中文）

ReStyle3D是一个新颖的框架，用于将单个风格图像的场景级外观迁移到由多视角表示的真实世界场景。该方法结合了显式的语义对应关系和多视角一致性，以实现精确和连贯的风格化。与全局应用参考风格的传统风格化方法不同，ReStyle3D使用开放词汇分割来建立风格图像和真实世界图像之间密集的、实例级别的对应关系，确保每个对象都使用语义匹配的纹理进行风格化。它首先使用扩散模型中无训练的语义注意力机制将风格迁移到单个视图。然后，通过学习到的warp-and-refine网络，在单目深度和像素级对应关系的指导下，将风格化提升到其他视图。实验表明，ReStyle3D在结构保持、感知风格相似性和多视角一致性方面始终优于现有方法。用户研究进一步验证了其生成照片级真实、语义忠实结果的能力。我们的代码、预训练模型和数据集将公开发布，以支持室内设计、虚拟舞台和3D一致风格化方面的新应用。

🔬 方法详解

问题定义：现有风格迁移方法通常全局应用风格，忽略了场景中不同对象的语义信息，导致风格化结果缺乏语义一致性。此外，在多视角场景中，如何保持不同视角下风格化结果的一致性也是一个挑战。现有方法难以同时保证结构保持、风格相似性和多视角一致性。

核心思路：ReStyle3D的核心思路是利用语义对应关系来指导风格迁移过程。通过建立风格图像和多视角场景中对象之间的语义对应关系，可以确保每个对象都使用语义匹配的纹理进行风格化。此外，该方法还利用多视角信息来保证不同视角下风格化结果的一致性。

技术框架：ReStyle3D的整体框架包含以下几个主要模块：1) 使用开放词汇分割建立风格图像和多视角场景之间的语义对应关系；2) 使用扩散模型和语义注意力机制将风格迁移到单个视图；3) 使用学习到的warp-and-refine网络，在单目深度和像素级对应关系的指导下，将风格化提升到其他视图。

关键创新：ReStyle3D的关键创新在于结合了语义对应关系和多视角一致性来实现场景级风格迁移。与现有方法相比，ReStyle3D能够更好地保持场景的结构和语义信息，并生成更逼真和一致的风格化结果。此外，使用无训练的语义注意力机制在扩散模型中进行风格迁移也是一个创新点。

关键设计：ReStyle3D的关键设计包括：1) 使用CLIP模型进行开放词汇分割，以建立更准确的语义对应关系；2) 使用扩散模型进行风格迁移，可以生成更高质量的风格化结果；3) 设计warp-and-refine网络，以利用多视角信息来保证风格化结果的一致性。损失函数包括风格损失、内容损失和多视角一致性损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReStyle3D在结构保持、感知风格相似性和多视角一致性方面均优于现有方法。具体来说，ReStyle3D在用户研究中获得了更高的偏好分数，表明其生成的风格化结果更符合用户的审美需求。此外，ReStyle3D在定量指标上也取得了显著提升，例如在风格相似性指标上优于现有方法10%以上。

🎯 应用场景

ReStyle3D具有广泛的应用前景，包括室内设计、虚拟舞台、游戏开发和电影制作等领域。它可以帮助用户快速将真实世界场景转换为具有特定风格的虚拟场景，从而提高设计效率和创作灵感。此外，ReStyle3D还可以用于生成具有艺术风格的3D模型和动画，为用户提供更丰富的视觉体验。

📄 摘要（原文）

We introduce ReStyle3D, a novel framework for scene-level appearance transfer from a single style image to a real-world scene represented by multiple views. The method combines explicit semantic correspondences with multi-view consistency to achieve precise and coherent stylization. Unlike conventional stylization methods that apply a reference style globally, ReStyle3D uses open-vocabulary segmentation to establish dense, instance-level correspondences between the style and real-world images. This ensures that each object is stylized with semantically matched textures. It first transfers the style to a single view using a training-free semantic-attention mechanism in a diffusion model. It then lifts the stylization to additional views via a learned warp-and-refine network guided by monocular depth and pixel-wise correspondences. Experiments show that ReStyle3D consistently outperforms prior methods in structure preservation, perceptual style similarity, and multi-view coherence. User studies further validate its ability to produce photo-realistic, semantically faithful results. Our code, pretrained models, and dataset will be publicly released, to support new applications in interior design, virtual staging, and 3D-consistent stylization.