Can Large Language Models Really Improve by Self-critiquing Their Own Plans?

📄 arXiv: 2310.08118v1 📥 PDF

作者: Karthik Valmeekam, Matthew Marquez, Subbarao Kambhampati

分类: cs.AI

发布日期: 2023-10-12

💡 一句话要点

探讨大型语言模型在自我批评计划中的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自我批评 计划生成 验证系统 假阳性率 反馈机制

📋 核心要点

  1. 现有方法中，大型语言模型在推理问题中的自我验证能力存在争议，尤其是在规划任务中表现不佳。
  2. 本研究通过使用GPT-4进行计划生成和验证，探讨了自我批评对计划生成的影响及反馈水平的作用。
  3. 实验结果表明，自我批评可能降低计划生成性能，且反馈类型对系统性能的影响微乎其微。

📝 摘要（中文）

本论文研究了大型语言模型（LLMs）在规划任务中自我验证和自我批评的能力。通过评估使用GPT-4进行计划生成和验证的系统，发现自我批评在计划生成中可能降低性能，尤其是与外部验证器相比。此外，反馈的性质对计划生成的影响有限。这些结果对LLMs在自我批评迭代框架中的有效性提出了质疑。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在规划任务中自我批评的有效性问题。现有方法在自我验证过程中存在较高的假阳性率，影响系统的可靠性。

核心思路：通过使用GPT-4进行计划生成和验证，评估自我批评对生成质量的影响，探索反馈的不同形式对系统性能的作用。

技术框架：整体架构包括计划生成模块和验证模块，生成模块负责生成候选计划，验证模块则对这些计划进行自我评估和批评。

关键创新：本研究的创新点在于系统地评估自我批评对计划生成的影响，揭示了LLMs在自我批评框架中的局限性，与传统外部验证器相比，LLMs的表现显著较差。

关键设计：在实验中，使用了不同类型的反馈（如二元反馈和详细反馈），并对生成计划的质量进行了定量分析，重点关注假阳性率和生成性能的变化。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，自我批评显著降低了计划生成的性能，尤其是在与外部验证器的比较中，LLMs的假阳性率较高，影响了系统的整体可靠性。反馈类型的变化对生成效果的影响微小，进一步验证了自我批评的局限性。

🎯 应用场景

该研究的潜在应用领域包括自动化规划、智能助手和决策支持系统。通过深入理解LLMs在自我批评中的局限性，可以为未来的系统设计提供指导，提升其在复杂任务中的可靠性和有效性。

📄 摘要（原文）

There have been widespread claims about Large Language Models (LLMs) being able to successfully verify or self-critique their candidate solutions in reasoning problems in an iterative mode. Intrigued by those claims, in this paper we set out to investigate the verification/self-critiquing abilities of large language models in the context of planning. We evaluate a planning system that employs LLMs for both plan generation and verification. We assess the verifier LLM's performance against ground-truth verification, the impact of self-critiquing on plan generation, and the influence of varying feedback levels on system performance. Using GPT-4, a state-of-the-art LLM, for both generation and verification, our findings reveal that self-critiquing appears to diminish plan generation performance, especially when compared to systems with external, sound verifiers and the LLM verifiers in that system produce a notable number of false positives, compromising the system's reliability. Additionally, the nature of feedback, whether binary or detailed, showed minimal impact on plan generation. Collectively, our results cast doubt on the effectiveness of LLMs in a self-critiquing, iterative framework for planning tasks.