Consistent123: Improve Consistency for One Image to 3D Object Synthesis
作者: Haohan Weng, Tianyu Yang, Jianan Wang, Yu Li, Tong Zhang, C. L. Philip Chen, Lei Zhang
分类: cs.CV
发布日期: 2023-10-12
备注: For more qualitative results, please see https://consistent-123.github.io/
💡 一句话要点
提出Consistent123以解决3D对象合成中的视图一致性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 3D对象合成 视图一致性 图像扩散模型 自注意力机制 无分类器引导
📋 核心要点
- 现有的图像到图像转换模型缺乏视图一致性保证，限制了其在3D重建和图像到3D生成等任务中的应用效果。
- 本文提出Consistent123，通过引入跨视图注意力层和共享自注意力机制，增强视图间的交互与对齐，从而实现视图一致性。
- 实验结果显示，Consistent123在视图一致性上显著优于基线方法，并在多个下游任务中表现出色，展现了良好的应用潜力。
📝 摘要（中文）
大型图像扩散模型能够以高质量和优秀的零样本能力进行新视图合成。然而，基于图像到图像转换的模型缺乏视图一致性保证，限制了其在3D重建和图像到3D生成等下游任务中的表现。为了解决这一问题，本文提出了Consistent123，通过引入额外的跨视图注意力层和共享自注意力机制，实现同时合成新视图。该机制增强了所有合成视图之间的交互以及条件视图与新视图之间的对齐。在采样阶段，该架构支持在固定长度训练的同时生成任意数量的视图。实验结果表明，Consistent123在视图一致性方面显著超越基线，并在多个下游任务中表现出色，展现了其在3D生成领域的巨大潜力。
🔬 方法详解
问题定义：本文旨在解决现有图像到图像转换模型在3D对象合成中缺乏视图一致性的问题。这种缺乏一致性限制了模型在3D重建和图像到3D生成等下游任务中的表现。
核心思路：Consistent123的核心思路是通过引入跨视图注意力层和共享自注意力机制，增强合成视图之间的交互和条件视图与新视图之间的对齐，从而提高视图一致性。
技术框架：该方法的整体架构包括多个模块，首先是图像输入模块，然后是跨视图注意力层和共享自注意力机制，最后是生成新视图的采样阶段。该架构支持在固定长度训练的同时生成任意数量的视图。
关键创新：Consistent123的关键创新在于其独特的注意力机制，能够有效提升合成视图之间的交互性和一致性，这与传统的图像到图像转换方法有本质区别。
关键设计：在设计上，Consistent123采用了进阶的无分类器引导策略，以实现合成对象视图在纹理和几何之间的平衡。此外，网络结构中注意力层的设置和参数调整也对最终效果起到了重要作用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Consistent123在视图一致性方面显著优于基线方法，具体提升幅度超过了XX%。在多个下游任务中，Consistent123的表现也显示出显著的改进，验证了其在3D生成领域的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实、游戏开发以及自动驾驶等。通过提高3D对象合成的视图一致性，Consistent123能够为这些领域提供更高质量的视觉体验，推动相关技术的发展与应用。
📄 摘要（原文）
Large image diffusion models enable novel view synthesis with high quality and excellent zero-shot capability. However, such models based on image-to-image translation have no guarantee of view consistency, limiting the performance for downstream tasks like 3D reconstruction and image-to-3D generation. To empower consistency, we propose Consistent123 to synthesize novel views simultaneously by incorporating additional cross-view attention layers and the shared self-attention mechanism. The proposed attention mechanism improves the interaction across all synthesized views, as well as the alignment between the condition view and novel views. In the sampling stage, such architecture supports simultaneously generating an arbitrary number of views while training at a fixed length. We also introduce a progressive classifier-free guidance strategy to achieve the trade-off between texture and geometry for synthesized object views. Qualitative and quantitative experiments show that Consistent123 outperforms baselines in view consistency by a large margin. Furthermore, we demonstrate a significant improvement of Consistent123 on varying downstream tasks, showing its great potential in the 3D generation field. The project page is available at consistent-123.github.io.