Advancing high-fidelity 3D and Texture Generation with 2.5D latents

📄 arXiv: 2505.21050v2 📥 PDF

作者: Xin Yang, Jiantao Lin, Yingjie Xu, Haodong Li, Yingcong Chen

分类: cs.CV

发布日期: 2025-05-27 (更新: 2025-05-28)

💡 一句话要点

提出基于2.5D潜在表示的3D几何与纹理联合生成框架，提升生成质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D生成 纹理生成 2.5D表示 多视角学习 预训练模型

📋 核心要点

  1. 现有3D生成方法在几何和纹理上分离建模，导致生成结果在几何结构和纹理细节上缺乏一致性。
  2. 论文提出一种基于2.5D潜在表示的联合生成框架，将多视角信息融合，并利用预训练2D模型提升生成质量。
  3. 实验表明，该方法在文本/图像驱动的3D生成和几何条件纹理生成任务上，均优于现有技术。

📝 摘要（中文）

本文提出了一种用于联合生成3D几何体和纹理的新框架。现有方法通常使用不同的模型和非统一的表示形式，分别生成3D几何体和纹理，导致几何体和纹理之间缺乏一致性，影响生成效果。为了解决这些问题，本文侧重于生成一种通用的2.5D表示，该表示可以在2D和3D之间无缝转换。该方法首先将多视角RGB图像、法线图像和坐标图像集成到统一的2.5D潜在表示中。然后，利用文本和图像条件，调整预训练的2D基础模型，以实现高保真的2.5D生成。最后，引入一个轻量级的2.5D到3D精炼器-解码器框架，从2.5D图像中高效地生成详细的3D表示。大量实验表明，该模型不仅擅长从文本和图像输入中生成具有连贯结构和颜色的高质量3D对象，而且在几何条件纹理生成方面也显著优于现有方法。

🔬 方法详解

问题定义：现有3D生成方法通常独立地生成几何体和纹理，使用不同的模型和表示形式。这种分离的方式导致生成的3D对象在几何结构和纹理细节上缺乏一致性，影响了整体的视觉质量。此外，3D数据本身的复杂性和质量不均也限制了3D生成技术的性能。

核心思路：论文的核心思路是利用一种中间表示——2.5D潜在表示，将多视角的RGB图像、法线和坐标信息融合在一起。这种2.5D表示既包含了2D图像的丰富信息，又蕴含了部分3D结构信息，从而能够更好地连接2D和3D空间。通过在这种中间表示上进行生成，可以更容易地保证几何体和纹理之间的一致性。

技术框架：整个框架包含三个主要阶段：1) 2.5D潜在表示的构建：将多视角RGB、法线和坐标图像编码为统一的2.5D潜在表示。2) 2.5D生成：利用预训练的2D基础模型，在文本或图像条件的引导下，生成高质量的2.5D图像。3) 2.5D到3D的精炼和解码：使用一个轻量级的精炼器-解码器网络，将生成的2.5D图像转换为详细的3D表示。

关键创新：最重要的创新点在于提出了2.5D潜在表示作为连接2D和3D生成的桥梁。与直接生成3D几何体或纹理相比，2.5D表示更容易利用现有的2D生成模型，并且能够更好地保持几何体和纹理之间的一致性。此外，使用轻量级的2.5D到3D精炼器-解码器网络，可以高效地从2.5D图像中恢复出详细的3D信息。

关键设计：在2.5D生成阶段，论文采用了预训练的2D基础模型，并对其进行了微调，以适应2.5D图像的生成。在2.5D到3D的精炼和解码阶段，论文设计了一个轻量级的网络结构，以减少计算量和内存消耗。具体的损失函数和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在3D对象生成任务上取得了显著的性能提升。与现有方法相比，该方法生成的3D模型在几何结构和纹理细节上更加一致，视觉质量更高。此外，该方法在几何条件纹理生成任务上也优于现有技术，表明其具有更强的纹理控制能力。具体的性能数据和提升幅度在论文中应该有更详细的描述（未知）。

🎯 应用场景

该研究成果可应用于游戏资产生成、虚拟现实内容创作、3D建模和设计等领域。通过文本或图像输入，快速生成高质量的3D模型，降低了3D内容创作的门槛，提高了生产效率。未来，该技术有望进一步发展，实现更逼真、更可控的3D内容生成。

📄 摘要（原文）

Despite the availability of large-scale 3D datasets and advancements in 3D generative models, the complexity and uneven quality of 3D geometry and texture data continue to hinder the performance of 3D generation techniques. In most existing approaches, 3D geometry and texture are generated in separate stages using different models and non-unified representations, frequently leading to unsatisfactory coherence between geometry and texture. To address these challenges, we propose a novel framework for joint generation of 3D geometry and texture. Specifically, we focus in generate a versatile 2.5D representations that can be seamlessly transformed between 2D and 3D. Our approach begins by integrating multiview RGB, normal, and coordinate images into a unified representation, termed as 2.5D latents. Next, we adapt pre-trained 2D foundation models for high-fidelity 2.5D generation, utilizing both text and image conditions. Finally, we introduce a lightweight 2.5D-to-3D refiner-decoder framework that efficiently generates detailed 3D representations from 2.5D images. Extensive experiments demonstrate that our model not only excels in generating high-quality 3D objects with coherent structure and color from text and image inputs but also significantly outperforms existing methods in geometry-conditioned texture generation.