GPT-4 Doesn't Know It's Wrong: An Analysis of Iterative Prompting for Reasoning Problems

📄 arXiv: 2310.12397v1 📥 PDF

作者: Kaya Stechly, Matthew Marquez, Subbarao Kambhampati

分类: cs.AI

发布日期: 2023-10-19

备注: 18 pages, 3 figures

💡 一句话要点

系统分析迭代提示在图着色问题中的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 图着色问题 自我批评 迭代提示 实证研究 性能分析

📋 核心要点

  1. 现有方法在推理问题上表现不佳，尤其是在图着色问题中，LLMs的自我批评能力未能有效提升性能。
  2. 论文通过系统的实证研究，探索LLMs在图着色问题中的迭代提示效果，分析自我批评和外部验证的影响。
  3. 实验结果显示，LLMs在解决和验证图着色实例方面均表现不佳，批评内容对性能的影响有限，主要依赖于随机性。

📝 摘要（中文）

关于大型语言模型（LLMs）推理能力的观点存在显著分歧。尽管对其自动推理能力的初步乐观态度因反例而减弱，但对其迭代自我批评能力的广泛信仰依然存在。本文系统研究了LLMs在图着色这一经典NP完全推理问题中的迭代提示效果。通过对GPT-4在解决图着色实例和验证候选着色的表现进行实证研究，发现LLMs在解决图着色实例方面表现不佳，且在验证解决方案时也没有显著提升。研究表明，批评内容对迭代提示的最终表现影响有限，观察到的有效性提升主要源于正确解决方案恰好出现在提示的前k个完成中。

🔬 方法详解

问题定义：本文关注大型语言模型在图着色问题上的推理能力，现有方法未能有效利用LLMs的自我批评能力，导致性能不佳。

核心思路：通过迭代提示的方式，研究LLMs在解决图着色实例和验证候选解决方案时的表现，探讨自我批评和外部验证的有效性。

技术框架：研究设计包括两个主要模块：一是LLMs自我批评其生成的答案，二是外部正确推理器验证提出的解决方案。

关键创新：论文的创新点在于系统性地分析了LLMs在迭代模式下的表现，质疑了其自我批评能力的有效性，揭示了性能提升的随机性。

关键设计：实验中设置了不同的迭代提示策略，分析了批评内容的相关性，结果表明批评的正确性与内容对最终性能影响有限。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，GPT-4在解决图着色实例时表现不佳，验证候选解决方案的能力也未见提升。批评内容对性能的影响微乎其微，主要的有效性提升源于正确解决方案的随机出现，质疑了当前对LLMs自我批评能力的信心。

🎯 应用场景

该研究对理解大型语言模型在复杂推理任务中的局限性具有重要意义，尤其是在图着色等NP完全问题的应用场景中。未来可为改进LLMs的推理能力提供理论基础，推动其在调度、分配等实际问题中的应用。

📄 摘要（原文）

There has been considerable divergence of opinion on the reasoning abilities of Large Language Models (LLMs). While the initial optimism that reasoning might emerge automatically with scale has been tempered thanks to a slew of counterexamples, a wide spread belief in their iterative self-critique capabilities persists. In this paper, we set out to systematically investigate the effectiveness of iterative prompting of LLMs in the context of Graph Coloring, a canonical NP-complete reasoning problem that is related to propositional satisfiability as well as practical problems like scheduling and allocation. We present a principled empirical study of the performance of GPT4 in solving graph coloring instances or verifying the correctness of candidate colorings. In iterative modes, we experiment with the model critiquing its own answers and an external correct reasoner verifying proposed solutions. In both cases, we analyze whether the content of the criticisms actually affects bottom line performance. The study seems to indicate that (i) LLMs are bad at solving graph coloring instances (ii) they are no better at verifying a solution--and thus are not effective in iterative modes with LLMs critiquing LLM-generated solutions (iii) the correctness and content of the criticisms--whether by LLMs or external solvers--seems largely irrelevant to the performance of iterative prompting. We show that the observed increase in effectiveness is largely due to the correct solution being fortuitously present in the top-k completions of the prompt (and being recognized as such by an external verifier). Our results thus call into question claims about the self-critiquing capabilities of state of the art LLMs.