M3SunAgent: Monocular 3D Spatial Understanding Agent for Metric Depth Estimation and 3D Visual Grounding

📄 arXiv: 2610.07982v1 📥 PDF

作者: Jinsong Zhang, Kejun Wu, Ming Zhu, Renjie Qiao, Chengtao Cai, Zhengguo Li

分类: cs.CV

发布日期: 2026-10-06

备注: 13 pages. 7 figures, submitted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)

💡 一句话要点

提出M3SunAgent以解决单目3D空间理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单目深度估计 3D视觉定位 空间理解 大型语言模型 视觉语言模型 机器人导航 增强现实

📋 核心要点

  1. 现有方法通常将单目度量深度估计和3D视觉定位分开处理，导致空间信息获取不一致和不灵活。
  2. 本文提出的M3SunAgent通过整合LLM和视觉语言模型，统一处理这两个任务，提升了空间理解的效率和准确性。
  3. 实验结果表明，M3SunAgent在实例级度量深度估计中表现最佳，且在3D视觉定位中优于现有模型，显示出显著的性能提升。

📝 摘要（中文）

单目度量深度估计和3D视觉定位是单目3D空间理解（M3Sun）的两个互补基础。然而，这些任务通常由独立框架进行，导致空间信息获取不灵活且不一致。本文提出了一种统一的单目3D空间理解代理（M3SunAgent），利用大型语言模型（LLM）作为任务规划器，灵活生成结构化程序并协调工具。M3SunAgent在实例级度量深度估计任务中表现优异，52.61%的预测实例深度误差低于0.25。在3D视觉定位任务中，M3SunAgent的3D平均交并比（mIoU）达到41.73%，超越了现有的MonoVLM模型。

🔬 方法详解

问题定义：本文旨在解决单目3D空间理解中的度量深度估计和3D视觉定位任务的分离处理问题。现有方法在空间信息获取上存在灵活性不足和一致性差的痛点。

核心思路：M3SunAgent通过将大型语言模型（LLM）作为任务规划器，整合多个工具以实现空间视觉编程，从而统一处理度量深度估计和3D视觉定位任务。这样的设计使得系统能够灵活生成结构化程序，并有效协调各个工具的使用。

技术框架：M3SunAgent的整体架构包括多个模块：首先，使用对象检测工具定位目标；其次，利用深度估计工具在选定点估计深度，并将这些预测聚合为实例级深度估计；最后，在3D视觉定位任务中，使用视觉语言模型工具输出基本空间属性，并结合回投影工具和维度提升工具预测3D边界框。

关键创新：M3SunAgent的主要创新在于其将LLM与视觉语言模型的结合，形成了一个统一的框架来处理两个互补任务。这与现有方法的分离处理方式形成了本质区别，提升了空间理解的整体效率。

关键设计：在参数设置上，M3SunAgent采用了适应性损失函数以优化深度估计的准确性，并设计了高效的网络结构以支持实时处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实例级单目度量深度估计中，M3SunAgent的表现优于所有对比模型，52.61%的预测实例深度误差低于0.25。在单目3D视觉定位评估中，M3SunAgent的3D平均交并比（mIoU）达到41.73%，超越了当前最先进的MonoVLM模型3.62%。

🎯 应用场景

M3SunAgent在机器人导航、增强现实和智能监控等领域具有广泛的应用潜力。通过提供准确的3D空间理解，该系统能够增强机器人的环境感知能力，提高人机交互的自然性和智能化水平。未来，该技术可能推动更多智能系统的开发，提升自动化和智能化的应用场景。

📄 摘要（原文）

Monocular metric depth estimation and 3D visual grounding represent the two complementary cornerstones of monocular 3D spatial understanding (M3Sun), from which the fundamental 3D spatial information required by M3Sun can be acquired. However, these complementary tasks are generally conducted by separate frameworks, which pose challenges of inflexible and unaligned spatial information access for embodied intelligence systems. In this paper, we propose a unified agent for monocular 3D spatial understanding (M3SunAgent) that leverages a large language model (LLM) as a task planner for spatial visual programming, which flexibly generate structured programs and coordinate tools. For instance-level metric depth estimation task, M3SunAgent invokes an object detector tool to locate the target, estimates depth at selected points with a depth estimation tool, and aggregates these predictions into an instance-level depth estimate. We also construct the M3Sun Instance (M3SI) dataset, a benchmark with 2,910 samples for evaluation. For monocular 3D visual grounding task, M3SunAgent uses a vision-language model (VLM) tool to locate the target and output basic spatial attributes, then combines back-projection tool with a dimension-lifting tool to predict its 3D bounding box. Experimental results demonstrate the superior performance of M3SunAgent. Specifically, in evaluations of instance-level monocular metric depth estimation, M3SunAgent achieves the best performance among all compared models, 52.61% of predicted instances are distributed below depth error 0.25 ($δ< 0.25$). In evaluations of monocular 3D visual grounding, M3SunAgent demonstrates overall competitive performance than vision and VLM models, reaching a 3D mean intersection over union (mIoU) of 41.73% and exceeding the state-of-the-art MonoVLM model by 3.62%.