SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models

📄 arXiv: 2406.04566v1 📥 PDF

作者: Md Imbesat Hassan Rizvi, Xiaodan Zhu, Iryna Gurevych

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-06-07

备注: Accepted at ACL 2024 (Main)

💡 一句话要点

提出SpaRC框架与SpaRP数据集，评估大语言模型在空间推理上的能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 大语言模型 数据集 评估框架 微调

📋 核心要点

  1. 现有大语言模型在空间推理能力方面存在不足，难以有效处理复杂的空间关系。
  2. 论文提出SpaRC框架和SpaRP数据集，用于全面评估和提升LLM的空间推理能力。
  3. 实验表明，模型规模扩大和微调能显著提升LLM的空间推理性能，但开源模型仍有差距。

📝 摘要（中文）

本文全面研究了当前最先进的大语言模型（LLM）在空间推理方面的能力。为了支持这项研究，我们创建并贡献了一个新的空间推理特征（SpaRC）框架和空间推理路径（SpaRP）数据集，以深入理解空间关系和组合，以及空间推理链的有效性。研究发现，所有最先进的LLM在这些数据集上的表现都不佳，在不同的设置下性能始终很低。空间推理能力随着模型规模的扩大而显著提高。对大型语言模型（如Llama-2-70B）和较小型的语言模型（如Llama-2-13B）进行微调可以显著提高其F1分数，绝对提升7-32个百分点。我们还发现，在拓扑空间理解和推理方面，顶级的专有LLM仍然明显优于其开源 counterparts。

🔬 方法详解

问题定义：现有的大语言模型在理解和推理空间关系方面存在不足。它们难以处理复杂的空间组合和推理链，导致在需要空间推理的任务中表现不佳。现有的评估方法也缺乏对空间推理能力的细粒度刻画。

核心思路：论文的核心思路是通过构建一个专门用于评估空间推理能力的数据集（SpaRP）和一个评估框架（SpaRC），来系统地分析和提升LLM的空间推理能力。通过对不同规模和类型的LLM进行评估和微调，揭示模型规模、训练方法和模型架构对空间推理能力的影响。

技术框架：整体框架包括以下几个主要阶段：1) 构建SpaRC框架，定义空间关系的类型和组合方式。2) 基于SpaRC框架生成SpaRP数据集，包含不同难度的空间推理问题。3) 使用SpaRP数据集评估现有LLM的空间推理能力。4) 对LLM进行微调，提升其空间推理能力。5) 对比不同模型和微调策略的效果。

关键创新：论文的关键创新在于提出了SpaRC框架和SpaRP数据集，为评估和提升LLM的空间推理能力提供了一个标准化的平台。SpaRC框架能够对空间关系进行细粒度的刻画，SpaRP数据集包含了多样化的空间推理问题，可以全面评估LLM的空间推理能力。

关键设计：SpaRC框架定义了多种空间关系，包括拓扑关系（如包含、相交）、方向关系（如左、右）和距离关系（如近、远）。SpaRP数据集包含了基于这些空间关系的推理问题，问题的难度由推理链的长度和空间关系的复杂程度决定。微调过程中，使用了交叉熵损失函数，并探索了不同的微调策略，例如全参数微调和LoRA。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有LLM在SpaRP数据集上的表现不佳，但随着模型规模的扩大，空间推理能力显著提升。通过对Llama-2-70B和Llama-2-13B进行微调，F1分数分别提升了7-32个百分点。此外，顶级的专有LLM在拓扑空间理解和推理方面明显优于开源模型。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实、游戏开发等领域。通过提升LLM的空间推理能力，可以使机器人在复杂环境中更好地理解和交互，例如在仓库中进行物品拣选，在城市中进行路径规划，或在虚拟环境中进行场景理解。

📄 摘要（原文）

Spatial reasoning is a crucial component of both biological and artificial intelligence. In this work, we present a comprehensive study of the capability of current state-of-the-art large language models (LLMs) on spatial reasoning. To support our study, we created and contribute a novel Spatial Reasoning Characterization (SpaRC) framework and Spatial Reasoning Paths (SpaRP) datasets, to enable an in-depth understanding of the spatial relations and compositions as well as the usefulness of spatial reasoning chains. We found that all the state-of-the-art LLMs do not perform well on the datasets -- their performances are consistently low across different setups. The spatial reasoning capability improves substantially as model sizes scale up. Finetuning both large language models (e.g., Llama-2-70B) and smaller ones (e.g., Llama-2-13B) can significantly improve their F1-scores by 7--32 absolute points. We also found that the top proprietary LLMs still significantly outperform their open-source counterparts in topological spatial understanding and reasoning.