RieMind: Geometry-Grounded Spatial Agent for Scene Understanding
作者: Fernando Ropero, Erkin Turkoz, Daniel Matos, Junqing Du, Antonio Ruiz, Yanfeng Zhang, Lu Liu, Mingwei Sun, Yongliang Wang
分类: cs.CV, cs.AI
发布日期: 2026-03-16
💡 一句话要点
RieMind：基于几何感知的空间智能体用于场景理解
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 空间推理 场景理解 视觉语言模型 3D场景图 几何感知
📋 核心要点
- 现有视觉语言模型在室内场景理解中，空间推理能力不足，依赖端到端视频或微调，感知与推理耦合。
- 提出RieMind框架，解耦感知与推理，利用3D场景图（3DSG）作为LLM的几何基础，通过几何工具进行交互。
- 在VSI-Bench上，RieMind无需微调即可超越现有方法16%，相比基础VLMs，性能提升33%-50%，验证了解耦的有效性。
📝 摘要（中文）
视觉语言模型（VLMs）已逐渐成为理解室内场景的主流范式，但它们在度量和空间推理方面仍然存在困难。目前的方法依赖于端到端的视频理解或大规模空间问答微调，这内在耦合了感知和推理。本文研究了解耦感知和推理是否能改善空间推理。我们提出了一个用于静态3D室内场景推理的智能体框架，该框架将LLM置于显式的3D场景图（3DSG）中。每个场景都表示为一个由专用感知模块构建的持久3DSG，而不是直接摄取视频。为了隔离推理性能，我们从ground-truth标注实例化3DSG。智能体仅通过结构化的几何工具与场景交互，这些工具暴露了诸如对象尺寸、距离、姿势和空间关系等基本属性。我们在VSI-Bench的静态分割上获得的结果，提供了理想感知条件下空间推理性能的上限，我们发现它明显高于之前的工作，高达16％，而无需特定于任务的微调。与基础VLMs相比，我们的智能体变体实现了显着更好的性能，平均提高了33％至50％。这些发现表明，显式的几何基础显着提高了空间推理性能，并表明结构化表示为纯粹的端到端视觉推理提供了一个引人注目的替代方案。
🔬 方法详解
问题定义：现有视觉语言模型（VLMs）在理解室内场景时，尤其是在进行空间推理时，表现出明显的局限性。这些模型通常依赖于端到端的视频处理或大规模的空间问答微调，导致感知和推理过程紧密耦合，难以有效分离和优化。这种耦合使得模型难以泛化到新的场景和任务，并且缺乏对场景几何信息的显式利用。
核心思路：本文的核心思路是将感知和推理过程解耦，通过显式的3D场景图（3DSG）作为LLM的几何基础，使LLM能够通过结构化的几何工具与场景进行交互。这种解耦允许LLM专注于推理，而无需直接处理复杂的视觉输入，从而提高空间推理的准确性和效率。
技术框架：RieMind框架包含两个主要模块：感知模块和推理模块。感知模块负责构建3D场景图（3DSG），该图以节点表示对象，以边表示对象之间的空间关系。推理模块是一个LLM，它通过一组结构化的几何工具与3DSG进行交互，这些工具允许LLM查询对象的尺寸、距离、姿势和空间关系。LLM根据查询结果进行推理，并生成最终的答案。
关键创新：RieMind的关键创新在于将LLM与显式的3D场景图相结合，并提供了一组结构化的几何工具，使LLM能够以一种符号化的方式与场景进行交互。这种方法避免了直接处理原始视觉输入，从而降低了计算复杂度，并提高了空间推理的准确性。此外，RieMind通过解耦感知和推理，使得模型更容易进行模块化设计和优化。
关键设计：RieMind使用ground-truth标注来实例化3DSG，以隔离推理性能并评估其上限。几何工具的设计旨在暴露场景的基本几何属性，例如对象尺寸、距离、姿势和空间关系。LLM的选择和配置对最终性能至关重要，但论文中未详细说明具体的LLM架构和参数设置。
🖼️ 关键图片
📊 实验亮点
RieMind在VSI-Bench的静态分割上取得了显著的性能提升，无需特定任务的微调，性能比之前的工作提高了高达16%。与基础VLMs相比，RieMind的智能体变体实现了平均33%到50%的性能提升。这些结果表明，显式的几何基础能够显著提高空间推理性能。
🎯 应用场景
RieMind框架在机器人导航、虚拟现实、增强现实、智能家居等领域具有广泛的应用前景。通过提供更准确和高效的场景理解能力，RieMind可以帮助机器人更好地理解周围环境，从而实现更智能的导航和交互。在虚拟现实和增强现实应用中，RieMind可以提供更逼真的场景渲染和更自然的交互体验。在智能家居领域，RieMind可以帮助智能设备更好地理解用户的需求，从而提供更个性化的服务。
📄 摘要（原文）
Visual Language Models (VLMs) have increasingly become the main paradigm for understanding indoor scenes, but they still struggle with metric and spatial reasoning. Current approaches rely on end-to-end video understanding or large-scale spatial question answering fine-tuning, inherently coupling perception and reasoning. In this paper, we investigate whether decoupling perception and reasoning leads to improved spatial reasoning. We propose an agentic framework for static 3D indoor scene reasoning that grounds an LLM in an explicit 3D scene graph (3DSG). Rather than ingesting videos directly, each scene is represented as a persistent 3DSG constructed by a dedicated perception module. To isolate reasoning performance, we instantiate the 3DSG from ground-truth annotations. The agent interacts with the scene exclusively through structured geometric tools that expose fundamental properties such as object dimensions, distances, poses, and spatial relationships. The results we obtain on the static split of VSI-Bench provide an upper bound under ideal perceptual conditions on the spatial reasoning performance, and we find that it is significantly higher than previous works, by up to 16\%, without task specific fine-tuning. Compared to base VLMs, our agentic variant achieves significantly better performance, with average improvements between 33\% to 50\%. These findings indicate that explicit geometric grounding substantially improves spatial reasoning performance, and suggest that structured representations offer a compelling alternative to purely end-to-end visual reasoning.