VLM3: Vision Language Models Are Native 3D Learners

📄 arXiv: 2605.30561v1 📥 PDF

作者: Zhipeng Cai, Zhuang Liu, Yunyang Xiong, Zechun Liu, Vikas Chandra, Yangyang Shi

分类: cs.CV, cs.AI

发布日期: 2026-05-28

💡 一句话要点

VLM3：利用视觉语言模型实现原生3D场景理解

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 3D理解 深度估计 相机姿态估计 像素对应 数据混合 焦距统一

📋 核心要点

  1. 现有3D理解方法依赖于复杂的、任务特定的专家视觉模型，缺乏通用性和可扩展性。
  2. VLM3的核心思想是利用视觉语言模型(VLM)本身具备的3D理解能力，通过简单的训练策略即可实现。
  3. 实验结果表明，VLM3在深度估计等3D任务上取得了显著提升，并能处理像素对应、相机姿态估计等任务。

📝 摘要（中文）

视觉语言模型(VLM)通过提示机制，使统一模型能够解决各种视觉任务，并在语义理解方面表现出良好的性能。然而，3D理解仍然主要依赖于具有复杂任务特定设计的专家视觉模型。本文的核心论点是VLM是原生的3D学习器。我们深入的大规模研究表明，有效的3D学习只需要：1)焦距统一，2)基于文本的像素参考，3)数据混合和缩放。模型架构的改变、大型模型、大量的数据增强以及包括回归公式在内的复杂损失函数，这些构成了专家视觉模型的基础，实际上并不是必要条件。因此，我们提出了VLM3，一种具有最简单设计且可扩展的方法，使标准VLM能够掌握各种3D任务。VLM3不仅大幅提高了VLM深度估计的准确性(0.84 -> 0.9)，还实现了像素对应、相机姿态估计和对象级3D理解等多种3D任务，在保持标准架构和基于文本的训练的同时，匹配了专家视觉模型的准确性。我们相信VLM3为简单且可扩展的3D学习开辟了一种新的范例。

🔬 方法详解

问题定义：现有3D理解方法通常需要针对特定任务设计复杂的模型结构和损失函数，泛化能力较弱。这些方法往往依赖于大量的3D标注数据，成本高昂。此外，如何将视觉语言模型应用于3D场景理解是一个挑战。

核心思路：论文的核心思路是证明视觉语言模型本身就具备一定的3D理解能力，通过适当的训练策略，可以使其在3D任务上取得良好的性能。关键在于如何有效地利用VLM的文本理解能力来辅助3D视觉任务。

技术框架：VLM3的技术框架基于标准的视觉语言模型，没有引入复杂的3D特定模块。主要包括以下几个关键步骤：1) 焦距统一：对不同数据集的图像进行焦距标准化，消除焦距差异带来的影响。2) 文本引导的像素参考：使用文本描述来引导模型关注图像中的特定像素，从而建立像素之间的对应关系。3) 数据混合和缩放：将不同来源的3D数据进行混合，并进行适当的缩放，以提高模型的泛化能力。

关键创新：VLM3的关键创新在于证明了VLM本身就具备3D理解能力，无需复杂的模型结构和损失函数。通过简单的训练策略，即可使VLM在3D任务上取得媲美甚至超越专家模型的效果。这种方法降低了3D理解的门槛，使得VLM能够更好地应用于3D场景。

关键设计：VLM3的关键设计包括：1) 焦距统一：将所有图像的焦距缩放到一个统一的值，例如50mm。2) 文本引导的像素参考：使用文本描述来指定图像中的像素坐标，例如“the pixel at (100, 200)”。3) 数据混合和缩放：将不同数据集的数据按照一定的比例进行混合，并对图像进行随机缩放和裁剪。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VLM3在深度估计任务上取得了显著的提升，将VLM的深度估计准确率从0.84提高到0.9。此外，VLM3还能够处理像素对应、相机姿态估计和对象级3D理解等多种3D任务，并且在这些任务上取得了与专家视觉模型相当的性能。这些结果表明，VLM3是一种有效且通用的3D学习方法。

🎯 应用场景

VLM3具有广泛的应用前景，例如机器人导航、自动驾驶、虚拟现实和增强现实等领域。它可以用于构建更智能的机器人，使其能够更好地理解和操作3D环境。此外，VLM3还可以用于创建更逼真的虚拟现实和增强现实体验，例如3D游戏和虚拟旅游。

📄 摘要（原文）

Vision Language Models (VLMs) enable a unified model to solve various vision tasks through prompting. They have shown promising performance in semantic understanding. However, 3D understanding still largely relies on expert vision models with complex task-specific designs. The key argument this work wants to make is that VLMs are native 3D learners. Our in-depth large scale study shows that 1) focal length unification, 2) text-based pixel reference and 3) data mixture and scaling, are all you need for effective 3D learning. Model architecture changes, large models, heavy data augmentations, and complex losses including the regression formulation, many of which form the foundation of expert vision models, are actually not necessary conditions. As a result, we propose VLM3, a scalable method with the simplest design that enables standard VLMs to master diverse 3D tasks. VLM3 not only advances the VLM depth estimation accuracy by a large margin (0.84 -> 0.9), but also enables diverse 3D tasks such as pixel correspondence, camera pose estimation and object-level 3D understanding, matching expert vision model accuracy while maintaining standard architectures and text-based training. We believe VLM3 opens up a new paradigm for simple and scalable 3D learning.