T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation

📄 arXiv: 2310.02977v2 📥 PDF

作者: Yuze He, Yushi Bai, Matthieu Lin, Wang Zhao, Yubin Hu, Jenny Sheng, Ran Yi, Juanzi Li, Yong-Jin Liu

分类: cs.CV, cs.CL, cs.LG

发布日期: 2023-10-04 (更新: 2024-04-17)

备注: Under review

💡 一句话要点

提出T$^3$Bench以解决文本到3D生成评估问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 文本到3D生成 基准测试 自动评估指标 多视角图像 质量评估 文本对齐 NeRF优化

📋 核心要点

  1. 现有文本到3D生成方法多依赖主观评估，缺乏定量分析，难以衡量进展。
  2. 论文提出T$^3$Bench基准，设计多样化的文本提示和自动评估指标，提升评估效率。
  3. 基准测试结果揭示了10种主流方法的性能差异，指出了生成环境和多物体场景的挑战。

📝 摘要（中文）

近年来，文本到3D生成的方法利用强大的预训练扩散模型来优化NeRF，能够在不依赖3D数据的情况下生成高质量的3D场景。然而，由于任务的开放性，大多数研究通过主观案例研究和用户实验来评估结果，难以定量回答当前文本到3D生成的进展情况。本文提出了T$^3$Bench，这是第一个全面的文本到3D基准，包含三种复杂性水平的多样文本提示，旨在评估主观质量和文本对齐。我们提出了基于多视角图像的两种自动评估指标，结果显示10种流行文本到3D方法之间的性能差异，并揭示了当前方法在生成环境和多物体场景方面的共同挑战。

🔬 方法详解

问题定义：本文旨在解决文本到3D生成领域缺乏系统性评估的问题。现有方法多依赖主观评估，难以量化进展和比较性能。

核心思路：论文提出T$^3$Bench基准，设计了多层次的文本提示和自动评估指标，以便更有效地评估文本到3D生成模型的质量和一致性。

技术框架：整体架构包括三个主要部分：多样化的文本提示生成、基于多视角图像的质量评估和文本对齐评估。通过这三个模块，能够全面评估生成结果。

关键创新：最重要的创新在于提出了结合多视角图像评分和区域卷积的质量指标，以及利用多视角字幕和GPT-4评估的文本对齐指标。这些指标与人类判断高度相关，提供了新的评估范式。

关键设计：在技术细节上，质量指标通过多视角文本-图像评分和区域卷积来检测质量和视角不一致性，而对齐指标则使用多视角字幕生成和GPT-4进行文本-3D一致性测量。

📊 实验亮点

实验结果显示，T$^3$Bench能够有效区分10种主流文本到3D生成方法的性能差异，揭示了在生成环境和多物体场景方面的普遍挑战。这为后续研究提供了重要的参考和指导。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和建筑设计等，能够为3D内容生成提供更为系统和量化的评估标准，推动相关技术的发展与应用。未来，T$^3$Bench可能成为文本到3D生成领域的标准基准，促进研究者之间的比较与合作。

📄 摘要（原文）

Recent methods in text-to-3D leverage powerful pretrained diffusion models to optimize NeRF. Notably, these methods are able to produce high-quality 3D scenes without training on 3D data. Due to the open-ended nature of the task, most studies evaluate their results with subjective case studies and user experiments, thereby presenting a challenge in quantitatively addressing the question: How has current progress in Text-to-3D gone so far? In this paper, we introduce T$^3$Bench, the first comprehensive text-to-3D benchmark containing diverse text prompts of three increasing complexity levels that are specially designed for 3D generation. To assess both the subjective quality and the text alignment, we propose two automatic metrics based on multi-view images produced by the 3D contents. The quality metric combines multi-view text-image scores and regional convolution to detect quality and view inconsistency. The alignment metric uses multi-view captioning and GPT-4 evaluation to measure text-3D consistency. Both metrics closely correlate with different dimensions of human judgments, providing a paradigm for efficiently evaluating text-to-3D models. The benchmarking results, shown in Fig. 1, reveal performance differences among an extensive 10 prevalent text-to-3D methods. Our analysis further highlights the common struggles for current methods on generating surroundings and multi-object scenes, as well as the bottleneck of leveraging 2D guidance for 3D generation. Our project page is available at: https://t3bench.com.