Language-Image Models with 3D Understanding

📄 arXiv: 2405.03685v1 📥 PDF

作者: Jang Hyun Cho, Boris Ivanovic, Yulong Cao, Edward Schmerling, Yue Wang, Xinshuo Weng, Boyi Li, Yurong You, Philipp Krähenbühl, Yan Wang, Marco Pavone

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2024-05-06

备注: Project page: https://janghyuncho.github.io/Cube-LLM

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Cube-LLM，通过大规模预训练实现语言-图像模型对3D场景的理解与推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 3D场景理解 预训练 问答系统 自动驾驶

📋 核心要点

  1. 现有的多模态大语言模型在2D视觉任务中表现出色，但缺乏对3D场景的理解和推理能力。
  2. 论文提出Cube-LLM，通过大规模2D和3D数据集LV3D的预训练，提升模型在三维空间中的感知能力。
  3. 实验表明，Cube-LLM在3D场景理解和推理任务上显著优于现有方法，并在通用MLLM基准测试中表现出竞争力。

📝 摘要（中文）

多模态大型语言模型(MLLM)在各种2D视觉和语言任务中展现了惊人的能力。本文将MLLM的感知能力扩展到在三维空间中定位和推理图像。为此，我们首先通过将多个现有的2D和3D识别数据集组合在一个共同的任务公式下，开发了一个用于2D和3D的大规模预训练数据集LV3D：作为多轮问答。接下来，我们引入了一种名为Cube-LLM的新型MLLM，并在LV3D上对其进行预训练。我们表明，纯粹的数据缩放可以在没有3D特定架构设计或训练目标的情况下实现强大的3D感知能力。Cube-LLM表现出类似于LLM的有趣特性：（1）Cube-LLM可以应用思维链提示来改善从2D上下文信息中对3D的理解。（2）Cube-LLM可以遵循复杂多样的指令，并适应通用的输入和输出格式。（3）Cube-LLM可以被视觉提示，例如来自专家的2D框或一组候选3D框。我们在室外基准测试上的实验表明，Cube-LLM在Talk2Car数据集上用于3D基础推理的AP-BEV方面，显着优于现有基线21.3个百分点，在DriveLM数据集上用于对驾驶场景进行复杂推理方面，显着优于现有基线17.7个百分点。Cube-LLM还在通用MLLM基准测试中显示出具有竞争力的结果，例如用于2D基础的refCOCO（平均得分87.0），以及用于复杂推理的视觉问答基准测试，例如VQAv2、GQA、SQA、POPE等。

🔬 方法详解

问题定义：现有的大型语言模型在处理2D视觉任务时表现出色，但它们通常缺乏对3D场景的理解和推理能力。这限制了它们在需要理解三维空间信息的应用中的潜力，例如自动驾驶、机器人导航等。现有方法通常需要针对特定3D任务进行定制设计，缺乏通用性和泛化能力。

核心思路：论文的核心思路是通过大规模的2D和3D数据预训练，使模型能够学习到通用的3D场景理解能力。通过将2D和3D数据统一到多轮问答的任务形式中，模型可以学习到从2D图像推断3D信息的知识，并进行复杂的推理。这种方法避免了针对特定3D任务的定制设计，提高了模型的通用性和泛化能力。

技术框架：Cube-LLM的整体框架包括以下几个主要步骤：1) 构建大规模的2D和3D数据集LV3D，该数据集将多个现有的2D和3D识别数据集统一到多轮问答的任务形式中。2) 设计Cube-LLM模型，该模型基于现有的MLLM架构，并针对3D场景理解进行优化。3) 在LV3D数据集上对Cube-LLM进行预训练，使其学习到通用的3D场景理解能力。4) 在各种3D场景理解和推理任务上对Cube-LLM进行评估，验证其性能。

关键创新：论文的关键创新在于：1) 提出了LV3D数据集，这是一个大规模的2D和3D数据集，用于预训练MLLM的3D场景理解能力。2) 提出了Cube-LLM模型，该模型通过大规模预训练，实现了对3D场景的理解和推理，而无需针对特定3D任务进行定制设计。3) 证明了纯粹的数据缩放可以在没有3D特定架构设计或训练目标的情况下实现强大的3D感知能力。

关键设计：LV3D数据集的关键设计在于将多个现有的2D和3D识别数据集统一到多轮问答的任务形式中。Cube-LLM模型的关键设计在于使用大规模的预训练数据，并利用思维链提示等技术来提高模型的推理能力。具体的网络结构和损失函数等细节未在摘要中详细描述，属于未知信息。

📊 实验亮点

Cube-LLM在Talk2Car数据集上，3D grounded reasoning的AP-BEV指标超越现有基线21.3个百分点；在DriveLM数据集上，复杂驾驶场景推理性能提升17.7个百分点。同时，Cube-LLM在refCOCO（2D grounding，平均分87.0）以及VQAv2、GQA等视觉问答基准测试中也表现出具有竞争力的结果。

🎯 应用场景

该研究成果具有广泛的应用前景，包括自动驾驶、机器人导航、增强现实、虚拟现实等领域。Cube-LLM能够理解和推理3D场景，可以用于感知周围环境、规划运动轨迹、与环境进行交互等。此外，该研究还可以促进多模态大语言模型在其他领域的应用，例如医疗影像分析、遥感图像解译等。

📄 摘要（原文）

Multi-modal large language models (MLLMs) have shown incredible capabilities in a variety of 2D vision and language tasks. We extend MLLMs' perceptual capabilities to ground and reason about images in 3-dimensional space. To that end, we first develop a large-scale pre-training dataset for 2D and 3D called LV3D by combining multiple existing 2D and 3D recognition datasets under a common task formulation: as multi-turn question-answering. Next, we introduce a new MLLM named Cube-LLM and pre-train it on LV3D. We show that pure data scaling makes a strong 3D perception capability without 3D specific architectural design or training objective. Cube-LLM exhibits intriguing properties similar to LLMs: (1) Cube-LLM can apply chain-of-thought prompting to improve 3D understanding from 2D context information. (2) Cube-LLM can follow complex and diverse instructions and adapt to versatile input and output formats. (3) Cube-LLM can be visually prompted such as 2D box or a set of candidate 3D boxes from specialists. Our experiments on outdoor benchmarks demonstrate that Cube-LLM significantly outperforms existing baselines by 21.3 points of AP-BEV on the Talk2Car dataset for 3D grounded reasoning and 17.7 points on the DriveLM dataset for complex reasoning about driving scenarios, respectively. Cube-LLM also shows competitive results in general MLLM benchmarks such as refCOCO for 2D grounding with (87.0) average score, as well as visual question answering benchmarks such as VQAv2, GQA, SQA, POPE, etc. for complex reasoning. Our project is available at https://janghyuncho.github.io/Cube-LLM.