STI-Bench: Are MLLMs Ready for Precise Spatial-Temporal World Understanding?

📄 arXiv: 2503.23765v6 📥 PDF

作者: Yun Li, Yiming Zhang, Tao Lin, Xiangrui Liu, Wenxiao Cai, Zheng Liu, Bo Zhao

分类: cs.CV

发布日期: 2025-03-31 (更新: 2025-07-17)

💡 一句话要点

STI-Bench：评估多模态大语言模型在时空理解方面的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 时空理解 基准测试 具身智能 自动驾驶

📋 核心要点

  1. 现有MLLM在视觉语义理解方面表现出色，但在精确时空理解方面能力未知，限制了其在具身智能和自动驾驶中的应用。
  2. 论文提出STI-Bench基准，通过估计和预测物体外观、姿态、位移和运动等任务，全面评估MLLM的时空智能。
  3. 实验结果表明，现有MLLM在真实场景下的时空理解能力不足，尤其在精确距离估计和运动分析方面表现较差。

📝 摘要（中文）

多模态大语言模型(MLLMs)作为具身智能和自动驾驶的端到端解决方案已成为一种趋势。虽然MLLMs在视觉语义理解任务中得到了广泛研究，但它们在实际应用中执行精确和定量的时空理解的能力在很大程度上仍未得到检验，导致前景不明。为了评估模型的时空智能，我们引入了STI-Bench，该基准旨在通过具有挑战性的任务（如估计和预测物体的外观、姿势、位移和运动）来评估MLLMs的时空理解能力。我们的基准涵盖了桌面、室内和室外场景中的各种机器人和车辆操作。大量的实验表明，最先进的MLLMs在真实世界的时空理解方面仍然存在困难，尤其是在需要精确距离估计和运动分析的任务中。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）在真实世界场景中精确时空理解能力不足的问题。现有方法主要集中在视觉语义理解，缺乏对MLLMs在距离估计、运动分析等定量时空推理能力的系统评估，这阻碍了MLLMs在具身智能和自动驾驶等领域的应用。

核心思路：论文的核心思路是构建一个专门用于评估MLLMs时空智能的基准测试集STI-Bench。该基准包含多种具有挑战性的任务，涵盖了机器人和车辆在不同场景下的操作，通过定量评估MLLMs在估计和预测物体外观、姿态、位移和运动等方面的能力，从而全面了解其时空理解水平。

技术框架：STI-Bench基准测试集包含三个主要场景：桌面环境、室内环境和室外环境。每个场景都包含一系列任务，例如：1) 估计物体的距离和尺寸；2) 预测物体的运动轨迹；3) 分析物体的姿态变化；4) 理解物体之间的空间关系。基准测试集提供相应的评估指标，用于量化MLLMs在每个任务上的表现。

关键创新：该论文的关键创新在于提出了一个专门用于评估MLLMs时空智能的基准测试集STI-Bench。与现有主要关注视觉语义理解的基准测试集不同，STI-Bench侧重于评估MLLMs在精确距离估计、运动分析等定量时空推理方面的能力，更贴近真实世界应用的需求。

关键设计：STI-Bench的关键设计包括：1) 多样化的场景设置，涵盖桌面、室内和室外环境；2) 具有挑战性的任务设计，需要精确的时空推理能力；3) 定量的评估指标，用于量化MLLMs的表现；4) 详细的任务描述和数据标注，方便研究人员使用和扩展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前最先进的MLLMs在STI-Bench基准上表现不佳，尤其是在需要精确距离估计和运动分析的任务中。例如，在距离估计任务中，MLLMs的平均误差较高，表明其对空间信息的感知能力不足。这些结果揭示了MLLMs在真实世界时空理解方面存在的局限性，为未来的研究方向提供了重要参考。

🎯 应用场景

该研究成果可应用于具身智能、自动驾驶、机器人导航等领域。通过STI-Bench基准，可以有效评估和提升MLLMs的时空理解能力，从而提高机器人在复杂环境中的感知和决策能力，促进相关技术的实际应用和发展。未来，该基准可以扩展到更多场景和任务，进一步推动MLLMs在时空智能方面的研究。

📄 摘要（原文）

The use of Multimodal Large Language Models (MLLMs) as an end-to-end solution for Embodied AI and Autonomous Driving has become a prevailing trend. While MLLMs have been extensively studied for visual semantic understanding tasks, their ability to perform precise and quantitative spatial-temporal understanding in real-world applications remains largely unexamined, leading to uncertain prospects. To evaluate models' Spatial-Temporal Intelligence, we introduce STI-Bench, a benchmark designed to evaluate MLLMs' spatial-temporal understanding through challenging tasks such as estimating and predicting the appearance, pose, displacement, and motion of objects. Our benchmark encompasses a wide range of robot and vehicle operations across desktop, indoor, and outdoor scenarios. The extensive experiments reveals that the state-of-the-art MLLMs still struggle in real-world spatial-temporal understanding, especially in tasks requiring precise distance estimation and motion analysis.