Chain of Thoughtlessness? An Analysis of CoT in Planning

📄 arXiv: 2405.04776v3 📥 PDF

作者: Kaya Stechly, Karthik Valmeekam, Subbarao Kambhampati

分类: cs.AI

发布日期: 2024-05-08 (更新: 2025-03-12)

备注: NeurIPS 2024

💡 一句话要点

分析CoT在规划任务中的泛化性，揭示其对特定prompt的依赖性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 思维链 大型语言模型 规划 泛化能力 Blocksworld

📋 核心要点

  1. 现有研究表明思维链（CoT）能提升LLM的推理能力，但其泛化性仍面临挑战。
  2. 本文通过Blocksworld等规划任务，分析CoT在不同prompt通用性和问题复杂度下的表现。
  3. 实验表明CoT的有效性依赖于高度定制的prompt，而非学习通用算法，泛化能力有限。

📝 摘要（中文）

大型语言模型（LLM）在推理问题上的性能通常难以泛化到分布外。先前的工作声称，可以通过思维链提示（CoT）——一种展示解决方案过程的方法——来缓解这个问题，其直觉是可以在上下文中教会LLM解决问题的算法。本文以经典规划领域Blocksworld的问题为例，对CoT进行了案例研究，并考察了两个最先进的LLM在两个维度上的性能：prompt中给出的示例的通用性和每个prompt查询的问题的复杂性。虽然我们的问题非常简单，但我们只发现当prompt非常特定于其问题类别时，CoT提示才能带来有意义的性能改进，并且当查询指定的堆栈大小n超过示例中显示的堆栈大小时，这些改进会迅速恶化。我们还创建了先前CoT论文中常见研究的三个领域的可扩展变体，并证明了类似失效模式的存在。我们的结果表明，与文献中先前的说法相反，CoT的性能改进并非源于模型通过演示学习通用算法过程，而是取决于精心设计的高度特定于问题的prompt。这突出了CoT的缺点，特别是可能的性能提升与生成具有正确推理轨迹的示例所需的人工劳动量之间的急剧权衡。

🔬 方法详解

问题定义：现有研究认为思维链（CoT）提示可以通过示例学习通用算法，从而提升大型语言模型（LLM）在推理问题上的泛化能力。然而，实际应用中，LLM的性能往往难以泛化到分布外的数据。本文旨在探究CoT在规划任务中的泛化能力，并分析其性能提升的真正来源。

核心思路：本文的核心思路是通过控制prompt的通用性和问题复杂度，系统性地评估CoT在Blocksworld等规划任务中的表现。通过观察LLM在不同prompt设置下的性能变化，分析CoT是否真的能够学习到通用的算法，还是仅仅依赖于高度定制的prompt。

技术框架：本文采用案例研究的方法，选择Blocksworld作为研究对象，并构建了三个常用CoT领域的可扩展变体。实验流程包括：1) 设计不同通用性的CoT prompt；2) 构建不同复杂度的规划问题；3) 使用两个最先进的LLM进行实验；4) 分析实验结果，评估CoT的泛化能力和性能来源。

关键创新：本文最重要的创新在于对CoT性能来源的质疑。实验结果表明，CoT的性能提升并非源于模型学习通用算法，而是依赖于高度定制的prompt。这一发现挑战了先前研究的结论，并为CoT的实际应用提出了新的思考。

关键设计：本文的关键设计包括：1) Blocksworld问题的形式化定义，包括状态、动作和目标；2) 不同通用性的CoT prompt的设计，例如，针对特定堆栈大小的prompt和更通用的prompt；3) 问题复杂度的控制，通过改变堆栈的大小来调整问题的难度；4) 实验结果的定量分析，包括成功率、推理步骤等指标。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，CoT在Blocksworld等规划任务中的性能提升主要依赖于高度定制的prompt，而非学习通用算法。当prompt非常特定于问题类别时，CoT才能带来有意义的性能改进，并且当查询指定的堆栈大小超过示例中显示的堆栈大小时，这些改进会迅速恶化。这表明CoT的泛化能力有限，需要更多研究来提升其通用性。

🎯 应用场景

该研究成果对于理解和改进大型语言模型的推理能力具有重要意义。它有助于指导prompt工程，避免过度依赖特定prompt，并探索更有效的通用算法学习方法。此外，该研究也为评估和改进LLM在其他领域的泛化能力提供了借鉴。

📄 摘要（原文）

Large language model (LLM) performance on reasoning problems typically does not generalize out of distribution. Previous work has claimed that this can be mitigated with chain of thought prompting-a method of demonstrating solution procedures-with the intuition that it is possible to in-context teach an LLM an algorithm for solving the problem. This paper presents a case study of chain of thought on problems from Blocksworld, a classical planning domain, and examines the performance of two state-of-the-art LLMs across two axes: generality of examples given in prompt, and complexity of problems queried with each prompt. While our problems are very simple, we only find meaningful performance improvements from chain of thought prompts when those prompts are exceedingly specific to their problem class, and that those improvements quickly deteriorate as the size n of the query-specified stack grows past the size of stacks shown in the examples. We also create scalable variants of three domains commonly studied in previous CoT papers and demonstrate the existence of similar failure modes. Our results hint that, contrary to previous claims in the literature, CoT's performance improvements do not stem from the model learning general algorithmic procedures via demonstrations but depend on carefully engineering highly problem specific prompts. This spotlights drawbacks of chain of thought, especially the sharp tradeoff between possible performance gains and the amount of human labor necessary to generate examples with correct reasoning traces.