Evaluating VLMs' Spatial Reasoning Over Robot Motion: A Step Towards Robot Planning with Motion Preferences

📄 arXiv: 2603.13100v1 📥 PDF

作者: Wenxi Wu, Jingjing Zhang, Martim Brandão

分类: cs.RO, cs.AI

发布日期: 2026-03-13

备注: Accepted to the First Workshop on Efficient Spatial Reasoning at ICLR 2026

💡 一句话要点

评估VLMs在机器人运动中的空间推理能力，助力具备运动偏好的机器人规划

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 机器人运动规划 空间推理 运动偏好 人机交互

📋 核心要点

  1. 现有机器人规划方法在处理用户自定义的运动偏好（如与物体的距离、运动风格等）时，缺乏足够的空间推理能力。
  2. 本文通过评估多种VLMs在机器人运动规划中的空间推理能力，探索利用VLMs理解和执行用户运动偏好的可行性。
  3. 实验结果表明，Qwen2.5-VL在零样本学习中达到71.4%的准确率，微调后在较小模型上达到75%，验证了VLMs在机器人运动规划中的潜力。

📝 摘要（中文）

理解用户指令和周围环境中的物体空间关系对于智能机器人系统辅助人类完成各种任务至关重要。视觉-语言模型(VLMs)的自然语言和空间推理能力有潜力增强机器人规划器在新任务、物体和运动规范上的泛化能力。虽然基础模型已被应用于任务规划，但它们在多大程度上具备执行用户对运动偏好或约束（例如与物体的期望距离、拓扑属性或运动风格偏好）所需的空间推理能力尚不清楚。本文评估了四种最先进的VLMs在机器人运动空间推理方面的能力，使用了四种不同的查询方法。结果表明，使用性能最高的查询方法，Qwen2.5-VL实现了71.4%的零样本准确率，并在微调后在较小模型上达到了75%，而GPT-4o的性能较低。我们评估了两种类型的运动偏好（物体邻近度和路径风格），并分析了准确率和计算成本（以token数量衡量）之间的权衡。这项工作展示了VLM与机器人运动规划流程集成的潜力。

🔬 方法详解

问题定义：论文旨在评估视觉-语言模型（VLMs）在机器人运动规划中进行空间推理的能力，特别是针对用户定义的运动偏好，例如与物体的期望距离或特定的运动风格。现有方法通常难以将这些细粒度的空间约束直接融入到机器人规划过程中，导致机器人难以理解和执行复杂的、带有偏好的运动指令。

核心思路：论文的核心思路是利用VLMs强大的自然语言理解和视觉感知能力，将用户对机器人运动的空间偏好转化为可执行的运动规划约束。通过设计合适的查询方式，让VLMs理解场景中的物体关系和用户意图，并据此判断机器人运动是否符合用户的偏好。

技术框架：论文的整体框架包括以下几个关键步骤：1) 定义包含物体空间关系和运动偏好的场景；2) 使用不同的查询方法向VLMs提问，询问机器人运动是否满足特定的空间约束；3) 分析VLMs的回答准确率，评估其空间推理能力；4) 对表现较好的VLM进行微调，进一步提升性能。主要模块包括场景生成模块、查询模块、VLM推理模块和评估模块。

关键创新：论文的关键创新在于将VLMs应用于机器人运动规划中的空间推理任务，并针对性地设计了多种查询方法，以评估VLMs理解和执行用户运动偏好的能力。与传统的机器人规划方法相比，该方法能够更好地处理复杂的、带有自然语言描述的空间约束。

关键设计：论文的关键设计包括：1) 设计了两种类型的运动偏好：物体邻近度和路径风格；2) 采用了四种不同的查询方法，包括直接提问、多项选择等；3) 评估了不同VLMs在不同查询方法下的性能，并分析了准确率和计算成本之间的权衡；4) 对Qwen2.5-VL进行了微调，使用少量数据提升了其在空间推理任务上的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Qwen2.5-VL在零样本学习中达到了71.4%的准确率，经过微调后，在较小模型上达到了75%的准确率。这表明，通过合适的查询方法和微调，VLMs可以有效地应用于机器人运动规划中的空间推理任务。此外，研究还分析了不同查询方法和模型大小对性能的影响，为未来的研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于各种需要机器人与人类协作的场景，例如家庭服务机器人、工业机器人和医疗机器人。通过理解用户的运动偏好，机器人可以更自然、更安全地执行任务，提高人机交互的效率和用户满意度。未来，该技术有望实现更智能、更个性化的机器人服务。

📄 摘要（原文）

Understanding user instructions and object spatial relations in surrounding environments is crucial for intelligent robot systems to assist humans in various tasks. The natural language and spatial reasoning capabilities of Vision-Language Models (VLMs) have the potential to enhance the generalization of robot planners on new tasks, objects, and motion specifications. While foundation models have been applied to task planning, it is still unclear the degree to which they have the capability of spatial reasoning required to enforce user preferences or constraints on motion, such as desired distances from objects, topological properties, or motion style preferences. In this paper, we evaluate the capability of four state-of-the-art VLMs at spatial reasoning over robot motion, using four different querying methods. Our results show that, with the highest-performing querying method, Qwen2.5-VL achieves 71.4% accuracy zero-shot and 75% on a smaller model after fine-tuning, and GPT-4o leads to lower performance. We evaluate two types of motion preferences (object-proximity and path-style), and we also analyze the trade-off between accuracy and computation cost in number of tokens. This work shows some promise in the potential of VLM integration with robot motion planning pipelines.