How well can LLMs provide planning feedback in grounded environments?

📄 arXiv: 2509.09790v1 📥 PDF

作者: Yuxuan Li, Victor Zhong

分类: cs.AI

发布日期: 2025-09-11

💡 一句话要点

评估LLM在具身环境中提供规划反馈的能力，揭示其优势与局限

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 具身智能 规划反馈 强化学习 视觉语言模型

📋 核心要点

  1. 现有具身环境规划方法依赖于精心设计的奖励函数或高质量的标注数据，成本高昂且泛化性差。
  2. 本文探索利用LLM/VLM的先验知识，通过多种反馈形式指导规划，减少对奖励函数和演示数据的依赖。
  3. 实验表明，大型语言模型能提供高质量反馈，但复杂环境和连续控制任务会降低反馈质量。

📝 摘要（中文）

本文评估了大型语言模型（LLMs）和视觉语言模型（VLMs）在符号、语言和连续控制环境中提供规划反馈的能力。研究考察了多种反馈类型，包括二元反馈、偏好反馈、行动建议、目标建议和增量行动反馈。同时，还研究了上下文学习、思维链和环境动态访问等推理方法对反馈性能的影响。结果表明，基础模型可以在不同领域提供高质量的反馈。更大的模型和具有推理能力的模型通常提供更准确的反馈，偏差更小，并能从增强的推理方法中获益。然而，对于具有复杂动态或连续状态空间和动作空间的环境，反馈质量会下降。

🔬 方法详解

问题定义：现有具身环境规划方法需要人工设计奖励函数或收集大量高质量的演示数据，这既耗时又费力，并且设计的奖励函数可能存在偏差，导致学习到的策略并非最优。此外，这些方法在面对新的环境时，泛化能力较差。

核心思路：利用大型语言模型（LLMs）和视觉语言模型（VLMs）中蕴含的丰富知识，将它们作为规划过程中的反馈提供者，从而减少对人工设计的奖励函数和大量演示数据的依赖。通过不同类型的反馈（如二元反馈、偏好反馈等）来引导规划过程，使智能体能够更好地学习和适应环境。

技术框架：本文的评估框架主要包括三个部分：环境（符号环境、语言环境、连续控制环境）、反馈类型（二元反馈、偏好反馈、行动建议、目标建议、增量行动反馈）和推理方法（上下文学习、思维链、访问环境动态）。首先，智能体在给定的环境中执行动作序列。然后，LLM/VLM根据当前状态和动作，提供相应的反馈。最后，根据反馈调整策略，并重复上述过程。

关键创新：本文的关键创新在于探索了利用LLM/VLM作为规划反馈提供者的可能性，并系统地评估了不同反馈类型和推理方法对规划性能的影响。与传统的奖励函数设计或演示学习方法相比，这种方法能够利用LLM/VLM的先验知识，从而减少对人工干预的需求。

关键设计：本文考察了多种反馈类型，包括：1) 二元反馈（判断动作是否合理）；2) 偏好反馈（比较两个动作的优劣）；3) 行动建议（直接给出建议动作）；4) 目标建议（给出建议的目标状态）；5) 增量行动反馈（给出动作的调整方向）。同时，还研究了上下文学习（提供少量示例）、思维链（逐步推理）和访问环境动态（允许模型查询环境信息）等推理方法对反馈性能的影响。

📊 实验亮点

实验结果表明，更大的模型和具有推理能力的模型能够提供更准确的反馈，且偏差更小。例如，使用思维链推理的LLM在提供行动建议方面的准确率显著高于未使用思维链的模型。此外，研究还发现，对于具有复杂动态或连续状态空间和动作空间的环境，反馈质量会下降，这表明LLM/VLM在处理复杂环境时仍存在挑战。

🎯 应用场景

该研究成果可应用于机器人导航、游戏AI、自动驾驶等领域。通过利用LLM/VLM提供的反馈，可以降低智能体学习的难度，提高其在复杂环境中的适应性和泛化能力。未来，可以将该方法应用于更广泛的具身智能任务，例如家庭服务机器人、工业自动化等。

📄 摘要（原文）

Learning to plan in grounded environments typically requires carefully designed reward functions or high-quality annotated demonstrations. Recent works show that pretrained foundation models, such as large language models (LLMs) and vision language models (VLMs), capture background knowledge helpful for planning, which reduces the amount of reward design and demonstrations needed for policy learning. We evaluate how well LLMs and VLMs provide feedback across symbolic, language, and continuous control environments. We consider prominent types of feedback for planning including binary feedback, preference feedback, action advising, goal advising, and delta action feedback. We also consider inference methods that impact feedback performance, including in-context learning, chain-of-thought, and access to environment dynamics. We find that foundation models can provide diverse high-quality feedback across domains. Moreover, larger and reasoning models consistently provide more accurate feedback, exhibit less bias, and benefit more from enhanced inference methods. Finally, feedback quality degrades for environments with complex dynamics or continuous state spaces and action spaces.