VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction
作者: Zhiwen Fan, Jian Zhang, Renjie Li, Junge Zhang, Runjin Chen, Hezhen Hu, Kevin Wang, Huaizhi Qu, Dilin Wang, Zhicheng Yan, Hongyu Xu, Justin Theiss, Tianlong Chen, Jiachen Li, Zhengzhong Tu, Zhangyang Wang, Rakesh Ranjan
分类: cs.CV, cs.CL
发布日期: 2025-05-26 (更新: 2025-06-01)
备注: Project Page: https://vlm-3r.github.io/
💡 一句话要点
VLM-3R：通过3D重建指令微调增强视觉语言模型，实现单目视频的3D空间理解
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 3D重建 指令微调 单目视频 空间推理
📋 核心要点
- 现有方法依赖深度传感器或预构建3D地图，限制了单目视频和实时应用中的可扩展性。
- VLM-3R通过几何编码器从单目视频中提取隐式3D tokens，并结合指令微调对齐空间上下文和语言。
- VLM-3R在视觉-空间-时间智能基准测试中表现出色，证明了其强大的视觉空间推理和时间3D上下文理解能力。
📝 摘要（中文）
大型多模态模型（LMMs）在2D图像和视频领域的快速发展，推动了将其扩展到理解3D场景的研究，旨在实现类人的视觉空间智能。然而，要达到与人类能力相当的深度空间理解，在模型编码和数据获取方面都面临着巨大的挑战。现有方法通常依赖外部深度传感器进行几何捕获，或利用现成的算法预先构建3D地图，这限制了它们的可扩展性，尤其是在普遍存在的单目视频输入和时间敏感的应用中。本文提出了VLM-3R，一个统一的视觉语言模型（VLM）框架，它结合了3D重建指令微调。VLM-3R通过使用几何编码器处理单目视频帧，以导出表示空间理解的隐式3D tokens。利用我们的空间-视觉-视图融合以及超过20万个精心策划的3D重建指令微调问答（QA）对，VLM-3R有效地将真实世界的空间上下文与语言指令对齐。这实现了单目3D空间辅助和具身推理。为了方便评估时间推理，我们引入了视觉-空间-时间智能基准，其中包含超过138.6K个QA对，涵盖五个不同的任务，专注于演化的空间关系。大量的实验表明，我们的模型VLM-3R不仅促进了强大的视觉空间推理，而且能够理解时间3D上下文变化，在准确性和可扩展性方面都表现出色。
🔬 方法详解
问题定义：现有视觉语言模型在处理3D场景理解时，依赖外部深度传感器或预先构建的3D地图，这限制了它们在单目视频输入和时间敏感应用中的可扩展性。此外，如何有效地将3D空间信息与语言指令对齐，实现更高级的具身推理，也是一个挑战。
核心思路：VLM-3R的核心思路是通过几何编码器从单目视频帧中提取隐式的3D tokens，这些tokens能够捕捉场景的空间信息。然后，通过大规模的3D重建指令微调，将这些3D tokens与语言指令对齐，从而使模型能够理解和推理3D空间关系。这种方法避免了对外部深度传感器的依赖，提高了模型的可扩展性。
技术框架：VLM-3R的整体框架包括以下几个主要模块：1) 几何编码器：用于从单目视频帧中提取隐式3D tokens。2) 空间-视觉-视图融合模块：用于融合来自不同视角的空间和视觉信息。3) 指令微调模块：使用大规模的3D重建指令微调数据集，将3D tokens与语言指令对齐。4) 视觉语言模型：将融合后的信息输入到视觉语言模型中，进行推理和问答。
关键创新：VLM-3R的关键创新在于：1) 使用几何编码器从单目视频中提取隐式3D tokens，避免了对外部深度传感器的依赖。2) 提出了空间-视觉-视图融合模块，有效地融合了来自不同视角的空间和视觉信息。3) 构建了大规模的3D重建指令微调数据集，用于对齐3D空间信息和语言指令。
关键设计：几何编码器采用Transformer结构，输入为单目视频帧，输出为隐式3D tokens。空间-视觉-视图融合模块使用注意力机制，对不同视角的特征进行加权融合。指令微调数据集包含超过20万个问答对，涵盖了各种3D重建相关的任务。损失函数包括重建损失和问答损失，用于优化几何编码器和视觉语言模型。
🖼️ 关键图片
📊 实验亮点
VLM-3R在视觉-空间-时间智能基准测试中取得了显著的成果，证明了其强大的视觉空间推理和时间3D上下文理解能力。具体而言，VLM-3R在多个任务上都优于现有的视觉语言模型，尤其是在需要理解时间演化的空间关系的任务上，提升幅度更为明显。这些结果表明，VLM-3R能够有效地处理复杂的3D场景理解问题。
🎯 应用场景
VLM-3R具有广泛的应用前景，包括机器人导航、增强现实、虚拟现实、自动驾驶等领域。它可以帮助机器人更好地理解周围环境，进行自主导航和物体识别。在增强现实和虚拟现实中，VLM-3R可以提供更逼真的3D场景体验。在自动驾驶领域，VLM-3R可以帮助车辆更好地感知周围环境，提高驾驶安全性。
📄 摘要（原文）
The rapid advancement of Large Multimodal Models (LMMs) for 2D images and videos has motivated extending these models to understand 3D scenes, aiming for human-like visual-spatial intelligence. Nevertheless, achieving deep spatial understanding comparable to human capabilities poses significant challenges in model encoding and data acquisition. Existing methods frequently depend on external depth sensors for geometry capture or utilize off-the-shelf algorithms for pre-constructing 3D maps, thereby limiting their scalability, especially with prevalent monocular video inputs and for time-sensitive applications. In this work, we introduce VLM-3R, a unified framework for Vision-Language Models (VLMs) that incorporates 3D Reconstructive instruction tuning. VLM-3R processes monocular video frames by employing a geometry encoder to derive implicit 3D tokens that represent spatial understanding. Leveraging our Spatial-Visual-View Fusion and over 200K curated 3D reconstructive instruction tuning question-answer (QA) pairs, VLM-3R effectively aligns real-world spatial context with language instructions. This enables monocular 3D spatial assistance and embodied reasoning. To facilitate the evaluation of temporal reasoning, we introduce the Vision-Spatial-Temporal Intelligence benchmark, featuring over 138.6K QA pairs across five distinct tasks focused on evolving spatial relationships. Extensive experiments demonstrate that our model, VLM-3R, not only facilitates robust visual-spatial reasoning but also enables the understanding of temporal 3D context changes, excelling in both accuracy and scalability.