MTFusion: Reconstructing Any 3D Object from Single Image Using Multi-word Textual Inversion

📄 arXiv: 2411.12197v1 📥 PDF

作者: Yu Liu, Ruowei Wang, Jiaqi Li, Zixiang Xu, Qijun Zhao

分类: cs.CV, cs.MM

发布日期: 2024-11-19

备注: PRCV 2024

期刊: Pattern Recognition and Computer Vision (2025), Springer Nature Singapore, pages 166-180, ISBN 978-981-97-8508-7

DOI: 10.1007/978-981-97-8508-7_12

💡 一句话要点

MTFusion：利用多词文本反演从单张图像重建任意3D物体

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单图3D重建 文本反演 多模态融合 FlexiCubes 有符号距离函数

📋 核心要点

  1. 现有单图3D重建方法侧重于提取单一图像属性，忽略了形状、材质等重建所需的多视角信息。
  2. MTFusion采用多词文本反演技术提取图像的详细文本描述，并结合图像信息生成3D模型。
  3. 实验表明，MTFusion在合成和真实图像上均优于现有方法，证明了网络设计的有效性。

📝 摘要（中文）

本文提出MTFusion，一种利用图像数据和文本描述进行高保真3D重建的方法。单图3D重建是计算机视觉领域一个长期存在的问题。当前最优方法通常从输入图像中提取文本描述，并利用该描述合成3D模型。然而，现有方法仅关注图像的单个关键属性（如物体类型、艺术风格），未能考虑精确3D重建所需的多视角信息，例如物体形状和材质属性。此外，对神经辐射场的依赖限制了它们重建复杂表面和纹理细节的能力。MTFusion包含两个阶段：首先，采用一种新颖的多词文本反演技术来提取捕捉图像特征的详细文本描述；然后，使用该描述和图像生成基于FlexiCubes的3D模型。此外，MTFusion通过采用用于有符号距离函数的特殊解码器网络来增强FlexiCubes，从而加快训练速度并实现更精细的表面表示。大量评估表明，MTFusion在各种合成和真实图像上超越了现有的图像到3D方法。消融研究证明了网络设计的有效性。

🔬 方法详解

问题定义：现有单图3D重建方法主要痛点在于，它们通常只关注图像的单一属性（例如，物体类型或艺术风格），而忽略了物体形状、材质属性等对于精确3D重建至关重要的多视角信息。此外，现有方法依赖于神经辐射场（NeRF），这限制了它们重建复杂表面和纹理细节的能力。

核心思路：MTFusion的核心思路是结合图像数据和详细的文本描述，从而实现高保真度的3D重建。通过多词文本反演技术，从图像中提取更丰富的特征信息，弥补了单一属性描述的不足。同时，利用FlexiCubes作为3D表示，克服了NeRF在复杂表面重建方面的局限性。

技术框架：MTFusion包含两个主要阶段：1) 多词文本反演：利用图像数据，通过多词文本反演技术生成详细的文本描述，该描述能够捕捉图像的多个关键特征。2) 3D模型生成：将提取的文本描述和原始图像作为输入，使用FlexiCubes生成3D模型。同时，采用特殊的解码器网络来增强FlexiCubes，以实现更快的训练和更精细的表面表示。

关键创新：MTFusion的关键创新在于多词文本反演技术和对FlexiCubes的增强。多词文本反演能够从单张图像中提取更全面、更细致的文本描述，从而为3D重建提供更丰富的信息。通过使用专门的解码器网络优化Signed Distance Functions，改进了FlexiCubes的训练效率和表面重建质量。

关键设计：在多词文本反演中，设计了特定的损失函数来鼓励模型生成包含多个关键词的文本描述。在FlexiCubes增强方面，设计了一个特殊的解码器网络，该网络能够更有效地将文本描述和图像特征映射到有符号距离函数，从而实现更精细的表面重建。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MTFusion在合成和真实图像数据集上进行了广泛的评估，实验结果表明，该方法在3D重建质量方面显著优于现有的单图3D重建方法。具体而言，MTFusion在多个指标上取得了SOTA结果，例如在Chamfer Distance和Normal Consistency等指标上，相比于现有方法有显著提升。消融实验也验证了多词文本反演技术和FlexiCubes增强设计的有效性。

🎯 应用场景

MTFusion具有广泛的应用前景，包括虚拟现实/增强现实内容创作、游戏开发、电商产品展示、文物数字化保护等领域。该技术能够从单张图像快速生成高质量的3D模型，降低了3D内容制作的门槛，并为用户提供更逼真的视觉体验。未来，该技术有望应用于自动驾驶、机器人导航等领域，为智能系统提供更准确的环境感知能力。

📄 摘要（原文）

Reconstructing 3D models from single-view images is a long-standing problem in computer vision. The latest advances for single-image 3D reconstruction extract a textual description from the input image and further utilize it to synthesize 3D models. However, existing methods focus on capturing a single key attribute of the image (e.g., object type, artistic style) and fail to consider the multi-perspective information required for accurate 3D reconstruction, such as object shape and material properties. Besides, the reliance on Neural Radiance Fields hinders their ability to reconstruct intricate surfaces and texture details. In this work, we propose MTFusion, which leverages both image data and textual descriptions for high-fidelity 3D reconstruction. Our approach consists of two stages. First, we adopt a novel multi-word textual inversion technique to extract a detailed text description capturing the image's characteristics. Then, we use this description and the image to generate a 3D model with FlexiCubes. Additionally, MTFusion enhances FlexiCubes by employing a special decoder network for Signed Distance Functions, leading to faster training and finer surface representation. Extensive evaluations demonstrate that our MTFusion surpasses existing image-to-3D methods on a wide range of synthetic and real-world images. Furthermore, the ablation study proves the effectiveness of our network designs.