How well can LLMs provide planning feedback in grounded environments?

📄 arXiv: 2509.09790v1 📥 PDF

作者: Yuxuan Li, Victor Zhong

分类: cs.AI

发布日期: 2025-09-11

💡 一句话要点

评估LLM在具身环境中提供规划反馈的能力，揭示其优势与局限

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身环境 规划反馈 大型语言模型 视觉语言模型 上下文学习 思维链 强化学习

📋 核心要点

  1. 现有具身环境规划方法依赖于精心设计的奖励函数或高质量的标注数据，成本高昂。
  2. 本文探索利用LLM/VLM的背景知识，通过提供多种反馈（如行动建议、目标建议等）来辅助规划，减少对奖励函数和演示数据的依赖。
  3. 实验表明，更大的、具有推理能力的模型能提供更准确的反馈，但在复杂动态或连续空间环境中表现下降。

📝 摘要（中文）

本文评估了大型语言模型（LLMs）和视觉语言模型（VLMs）在符号、语言和连续控制环境中提供规划反馈的能力。研究考察了多种反馈类型，包括二元反馈、偏好反馈、行动建议、目标建议和delta行动反馈。同时，也研究了影响反馈性能的推理方法，如上下文学习、思维链以及对环境动态的访问。研究发现，基础模型可以在不同领域提供高质量的反馈。更大的、具有推理能力的模型通常提供更准确的反馈，偏差更小，并能从增强的推理方法中获益。然而，对于具有复杂动态或连续状态空间和动作空间的环境，反馈质量会下降。

🔬 方法详解

问题定义：现有具身环境规划方法需要人工设计奖励函数或提供大量高质量的演示数据，这限制了其应用范围和效率。如何利用预训练的LLM/VLM的知识来辅助规划，减少对人工干预的需求，是一个重要的研究问题。现有方法难以有效利用LLM/VLM的知识，尤其是在复杂环境中。

核心思路：本文的核心思路是利用LLM/VLM作为规划的反馈提供者，通过提供不同类型的反馈（如二元反馈、偏好反馈、行动建议等）来指导智能体学习。这种方法旨在利用LLM/VLM的知识来弥补奖励函数或演示数据的不足，从而降低规划的难度。

技术框架：整体框架包括一个智能体和一个LLM/VLM反馈模块。智能体在环境中执行动作，LLM/VLM观察环境状态和智能体的行为，然后提供反馈。反馈可以是多种形式，例如，判断动作是否合理、给出更好的动作建议、或者建议修改目标。智能体根据反馈调整策略，从而学习到更好的规划能力。研究还考察了不同的推理方法，如上下文学习和思维链，以提高反馈质量。

关键创新：本文的关键创新在于系统性地评估了LLM/VLM在具身环境中提供规划反馈的能力。与以往研究主要关注LLM/VLM在特定任务上的表现不同，本文考察了多种反馈类型和推理方法，并分析了它们在不同环境下的表现。此外，本文还揭示了模型大小和推理能力对反馈质量的影响。

关键设计：研究中使用了多种LLM/VLM，包括不同大小的模型和具有不同推理能力的模型。反馈类型包括二元反馈（判断动作是否可行）、偏好反馈（比较不同动作的优劣）、行动建议（给出更好的动作）、目标建议（建议修改目标）和delta行动反馈（建议对当前动作进行微调）。推理方法包括上下文学习（提供少量示例）和思维链（逐步推理）。实验在符号环境、语言环境和连续控制环境中进行，以评估不同环境下的反馈质量。

📊 实验亮点

实验结果表明，更大的、具有推理能力的LLM/VLM能够提供更准确的反馈。例如，在某些任务中，使用思维链推理的LLM可以将反馈准确率提高10%-20%。然而，对于具有复杂动态或连续状态空间和动作空间的环境，反馈质量会显著下降。这表明LLM/VLM在处理复杂环境时仍存在局限性。

🎯 应用场景

该研究成果可应用于机器人导航、游戏AI、自动驾驶等领域。通过利用LLM/VLM的知识，可以降低智能体学习规划策略的难度，提高其在复杂环境中的适应性。未来，可以将该方法应用于更复杂的任务，例如，人机协作机器人、智能家居等。

📄 摘要（原文）

Learning to plan in grounded environments typically requires carefully designed reward functions or high-quality annotated demonstrations. Recent works show that pretrained foundation models, such as large language models (LLMs) and vision language models (VLMs), capture background knowledge helpful for planning, which reduces the amount of reward design and demonstrations needed for policy learning. We evaluate how well LLMs and VLMs provide feedback across symbolic, language, and continuous control environments. We consider prominent types of feedback for planning including binary feedback, preference feedback, action advising, goal advising, and delta action feedback. We also consider inference methods that impact feedback performance, including in-context learning, chain-of-thought, and access to environment dynamics. We find that foundation models can provide diverse high-quality feedback across domains. Moreover, larger and reasoning models consistently provide more accurate feedback, exhibit less bias, and benefit more from enhanced inference methods. Finally, feedback quality degrades for environments with complex dynamics or continuous state spaces and action spaces.