GridRoute: A Benchmark for LLM-Based Route Planning with Cardinal Movement in Grid Environments

📄 arXiv: 2505.24306v2 📥 PDF

作者: Kechen Li, Yaotian Tao, Ximing Wen, Quanwei Sun, Zifei Gong, Chang Xu, Xizhe Zhang, Tianbo Ji

分类: cs.AI

发布日期: 2025-05-30 (更新: 2025-08-13)

备注: 8 pages

🔗 代码/项目: GITHUB

💡 一句话要点

GridRoute：基于LLM的网格环境路径规划基准与算法引导提示方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 路径规划 网格环境 算法引导 混合提示

📋 核心要点

  1. 现有研究侧重于LLM独立推理，忽略了其与传统算法协同的潜力，限制了复杂路径规划任务的性能。
  2. 提出Algorithm of Thought (AoT) 混合提示技术，将传统算法的指导融入LLM提示，提升规划能力。
  3. GridRoute基准测试表明，AoT显著提升了不同规模LLM在复杂网格环境中的路径规划性能。

📝 摘要（中文）

本文提出了一个名为GridRoute的综合评估基准，用于评估大型语言模型（LLMs）在网格环境中利用传统算法进行路径规划的能力。现有研究主要关注LLMs的独立推理能力，忽略了LLMs与传统算法之间的协同潜力。为了弥补这一差距，本文还提出了一种新颖的混合提示技术，称为Algorithm of Thought (AoT)，该技术将传统算法的指导引入到提示中。该基准评估了六个参数规模从7B到72B的LLMs在不同地图尺寸下的性能，评估指标包括正确性、最优性和效率。实验结果表明，AoT显著提高了所有模型规模的性能，尤其是在更大或更复杂的环境中，这表明该方法在解决路径规划挑战方面具有广阔前景。代码已开源。

🔬 方法详解

问题定义：论文旨在解决LLM在网格环境中进行有效路径规划的问题。现有方法主要依赖LLM自身的推理能力，缺乏与传统路径规划算法的有效结合，导致在大规模或复杂环境中性能下降，难以保证路径的正确性、最优性和效率。

核心思路：论文的核心思路是利用传统路径规划算法的优势来引导LLM的推理过程。通过将算法的中间步骤或结果融入到LLM的提示中，可以有效地约束LLM的搜索空间，提高其规划的准确性和效率。这种混合方法旨在结合LLM的泛化能力和传统算法的精确性。

技术框架：整体框架包含两个主要部分：一是GridRoute基准测试环境，用于评估LLM在不同规模和复杂度的网格环境中的路径规划能力；二是Algorithm of Thought (AoT) 提示方法，它将传统算法（如A*算法）的中间步骤或结果作为提示信息输入给LLM。LLM接收到包含算法引导的提示后，生成路径规划方案。

关键创新：论文的关键创新在于AoT提示方法。与传统的直接提示或链式提示不同，AoT将算法的执行过程融入到提示中，使得LLM能够更好地理解问题的结构和约束，从而生成更优的路径规划方案。这种方法有效地弥补了LLM在精确计算和逻辑推理方面的不足。

关键设计：AoT提示方法的关键设计在于如何有效地将算法信息融入到提示中。具体来说，可以采用多种方式，例如将A*算法的扩展节点、启发式函数值等信息作为提示输入给LLM。此外，还可以通过调整提示的格式和内容，来控制算法引导的强度和范围。论文可能还涉及了对LLM的微调，以更好地适应AoT提示方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的Algorithm of Thought (AoT) 提示方法显著提升了LLM在GridRoute基准测试中的性能。在不同规模的LLM上，AoT均能带来显著的性能提升，尤其是在较大或更复杂的环境中。具体而言，AoT在路径正确性、最优性和效率方面均优于传统的提示方法，表明其在解决路径规划问题方面的有效性。

🎯 应用场景

该研究成果可应用于机器人导航、游戏AI、物流规划、智能交通等领域。通过结合LLM的推理能力和传统算法的精确性，可以实现更智能、更高效的路径规划。未来，该方法有望扩展到更复杂的环境和任务中，例如在动态环境中进行实时路径规划，或在多智能体系统中进行协同路径规划。

📄 摘要（原文）

Recent advancements in Large Language Models (LLMs) have demonstrated their potential in planning and reasoning tasks, offering a flexible alternative to classical pathfinding algorithms. However, most existing studies focus on LLMs' independent reasoning capabilities and overlook the potential synergy between LLMs and traditional algorithms. To fill this gap, we propose a comprehensive evaluation benchmark GridRoute to assess how LLMs can take advantage of traditional algorithms. We also propose a novel hybrid prompting technique called Algorithm of Thought (AoT), which introduces traditional algorithms' guidance into prompting. Our benchmark evaluates six LLMs ranging from 7B to 72B parameters across various map sizes, assessing their performance in correctness, optimality, and efficiency in grid environments with varying sizes. Our results show that AoT significantly boosts performance across all model sizes, particularly in larger or more complex environments, suggesting a promising approach to addressing path planning challenges. Our code is open-sourced at https://github.com/LinChance/GridRoute.