REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories

📄 arXiv: 2512.00736v1 📥 PDF

作者: Jacob Thompson, Emiliano Garcia-Lopez, Yonatan Bisk

分类: cs.LG, cs.AI, cs.CV

发布日期: 2025-11-30

期刊: Proceedings of the Conference on Language Modeling (COLM 2025)

💡 一句话要点

REM：通过多帧轨迹评估LLM具身空间推理能力

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 具身智能 空间推理 多模态学习 大型语言模型 基准测试

📋 核心要点

  1. 多模态大语言模型在具身智能应用中，缺乏人类通过导航构建的视角无关的空间推理能力。
  2. 提出REM基准，利用可控3D环境和多帧轨迹，系统评估模型在物体永存性、空间关系和数值跟踪等方面的能力。
  3. 实验表明，现有模型在复杂场景下表现不佳，REM可为未来模型提供有针对性的指标和诊断方法。

📝 摘要（中文）

人类通过导航构建与视角无关的认知地图，从而能够直观地推理物体永存性和空间关系。本文认为，尽管多模态大型语言模型（MLLM）经过了广泛的视频训练，但仍然缺乏这种基本的空间推理能力，这对于具身应用来说是一个关键的限制。为了展示这些局限性并推动研究，我们引入了REM（Reasoning over Embodied Multi-Frame Trajectories），这是一个使用可控3D环境进行长时程具身空间推理的基准。REM系统地评估了物体永存性/区分、空间关系和跨动态具身视角的数值跟踪等关键方面。我们的评估表明，当前性能最佳的模型表现出有希望的整体性能，但在人类可以轻松处理的适度复杂程度下变得越来越不可靠。这些发现突出了MLLM在从顺序视觉输入中开发鲁棒空间表示方面面临的挑战。因此，REM提供了有针对性的指标和诊断方法，以促进未来模型中改进的空间理解。

🔬 方法详解

问题定义：现有的大型语言模型（LLM），特别是多模态LLM（MLLM），在处理具身环境中的空间推理任务时存在不足。尽管它们接受了大量的视频数据训练，但仍然难以像人类一样建立视角无关的认知地图，从而无法准确地进行物体永存性、空间关系等推理。现有的方法难以在动态、长时程的具身环境中进行有效的空间推理。

核心思路：本文的核心思路是通过构建一个专门的基准测试环境REM，来系统地评估MLLM在具身空间推理方面的能力。REM利用可控的3D环境，允许研究人员精确地控制场景的复杂度和动态性，从而能够更有效地诊断模型在不同方面的缺陷。通过分析模型在REM上的表现，可以更好地理解MLLM在空间理解方面的局限性，并为未来的模型改进提供指导。

技术框架：REM基准测试框架主要包含以下几个关键模块：1) 可控的3D环境生成器，用于创建具有不同复杂度和动态性的场景；2) 多帧轨迹生成器，模拟具身智能体在环境中的运动轨迹，并生成相应的视觉输入序列；3) 评估指标，用于量化模型在物体永存性、空间关系和数值跟踪等方面的表现；4) 诊断工具，用于分析模型在不同场景下的错误原因，并提供改进建议。整个流程包括：定义场景和轨迹 -> 模型接收多帧图像输入 -> 模型进行空间推理并输出结果 -> 使用评估指标评估模型性能 -> 使用诊断工具分析错误。

关键创新：REM的关键创新在于其系统性和可控性。与以往的研究相比，REM能够更精确地控制场景的复杂度和动态性，从而能够更有效地诊断模型在不同方面的缺陷。此外，REM还提供了一套全面的评估指标和诊断工具，可以帮助研究人员更好地理解模型在空间理解方面的局限性，并为未来的模型改进提供指导。REM提供了一个标准化的平台，方便研究者进行公平的比较和分析。

关键设计：REM的关键设计包括：1) 场景复杂度控制：通过调整场景中物体的数量、大小、形状和运动方式，可以控制场景的复杂度；2) 轨迹多样性：通过改变智能体的运动轨迹，可以模拟不同的具身环境；3) 评估指标：REM使用了一系列量化的评估指标，包括物体永存性准确率、空间关系准确率和数值跟踪准确率；4) 诊断工具：REM提供了一系列可视化工具，可以帮助研究人员分析模型在不同场景下的错误原因。具体参数设置和网络结构取决于被评估的MLLM模型。

📊 实验亮点

实验结果表明，当前性能最佳的MLLM模型在REM基准上表现出一定的空间推理能力，但在中等复杂度的场景下，性能显著下降。例如，在物体数量较多或运动轨迹较复杂的情况下，模型的物体永存性准确率和空间关系准确率均明显降低。这表明现有模型在处理长时程、动态的具身环境时，仍然存在很大的提升空间。REM基准的提出为未来模型改进提供了明确的目标和方向。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实等领域。通过提升LLM在具身环境中的空间推理能力，可以使机器人更好地理解周围环境，从而实现更智能的导航和交互。在自动驾驶领域，更准确的空间理解可以提高车辆的安全性和可靠性。在虚拟现实领域，可以创建更逼真、更具交互性的虚拟环境。未来，该研究有望推动具身智能的进一步发展。

📄 摘要（原文）

Humans build viewpoint-independent cognitive maps through navigation, enabling intuitive reasoning about object permanence and spatial relations. We argue that multimodal large language models (MLLMs), despite extensive video training, lack this fundamental spatial reasoning capability, a critical limitation for embodied applications. To demonstrate these limitations and drive research, we introduce REM (Reasoning over Embodied Multi-Frame Trajectories), a benchmark using controllable 3D environments for long-horizon embodied spatial reasoning. REM systematically evaluates key aspects like object permanence/distinction, spatial relationships, and numerical tracking across dynamic embodied viewpoints. Our evaluation shows that the best-performing current models exhibit promising overall performance, but become increasingly unreliable at even moderate complexity levels easily handled by humans. These findings highlight challenges MLLMs face in developing robust spatial representations from sequential visual input. Consequently, REM provides targeted metrics and diagnostics to foster improved spatial understanding in future models.