Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models
作者: Junchi Yu, Ran He, Rex Ying
分类: cs.AI, cs.CL
发布日期: 2023-10-06 (更新: 2024-06-17)
备注: ICLR 2024
💡 一句话要点
提出思想传播方法以增强大语言模型的复杂推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 复杂推理 类比问题 思想传播 推理能力增强 任务完成率 创意写作 短路径推理
📋 核心要点
- 现有的提示方法无法重用解决相似问题的见解，导致多步骤推理中错误的累积。
- 本文提出的思想传播方法通过探索类比问题及其解决方案来增强LLMs的推理能力。
- 在三个具有挑战性的任务中，TP方法在找到最佳解决方案的能力上平均提高了12%。
📝 摘要（中文）
随着提示方法的发展，大语言模型（LLMs）在推理任务中取得了显著成功。然而，现有的提示方法无法重用解决相似问题的见解，并且在多步骤推理中容易累积错误，因为它们是从头开始进行推理。为了解决这些问题，本文提出了思想传播（TP）方法，探索与输入问题相关的类比问题，并利用其解决方案来增强LLMs的复杂推理能力。TP首先提示LLMs提出并解决一组与输入问题相关的类比问题，然后重用这些类比问题的结果，以直接产生新的解决方案或推导出知识密集型的执行计划，从而修正从头获得的初始解决方案。实验表明，TP在多个任务中显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决现有提示方法在多步骤推理中无法重用相似问题解决方案的痛点，导致推理过程中的错误累积。
核心思路：思想传播方法通过引导LLMs提出与输入问题相关的类比问题，并利用这些类比问题的解决方案来增强推理能力，从而避免从头开始推理的缺陷。
技术框架：TP方法的整体流程包括两个主要阶段：首先，提示LLMs生成并解决一组类比问题；其次，重用这些类比问题的结果来生成新的解决方案或知识密集型计划。
关键创新：TP方法的核心创新在于其类比问题的生成与解决机制，允许模型在推理过程中重用已有的知识，从而显著提高推理效率和准确性。
关键设计：在实现TP时，关键设计包括类比问题的选择策略、结果重用机制以及与现有提示方法的兼容性，确保其在多种任务中都能有效应用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TP方法在短路径推理任务中找到最佳解决方案的能力提高了12%，在创意写作中人类偏好提升了13%，而在LLM-Agent规划任务的完成率上提升了15%。这些结果表明TP方法在多种复杂推理任务中具有显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括教育、创意写作、机器人规划等。通过增强大语言模型的推理能力，TP方法能够在复杂任务中提供更高效的解决方案，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Large Language Models (LLMs) have achieved remarkable success in reasoning tasks with the development of prompting methods. However, existing prompting approaches cannot reuse insights of solving similar problems and suffer from accumulated errors in multi-step reasoning, since they prompt LLMs to reason \textit{from scratch}. To address these issues, we propose \textbf{\textit{Thought Propagation} (TP)}, which explores the analogous problems and leverages their solutions to enhance the complex reasoning ability of LLMs. These analogous problems are related to the input one, with reusable solutions and problem-solving strategies. Thus, it is promising to propagate insights of solving previous analogous problems to inspire new problem-solving. To achieve this, TP first prompts LLMs to propose and solve a set of analogous problems that are related to the input one. Then, TP reuses the results of analogous problems to directly yield a new solution or derive a knowledge-intensive plan for execution to amend the initial solution obtained from scratch. TP is compatible with existing prompting approaches, allowing plug-and-play generalization and enhancement in a wide range of tasks without much labor in task-specific prompt engineering. Experiments across three challenging tasks demonstrate TP enjoys a substantial improvement over the baselines by an average of 12\% absolute increase in finding the optimal solutions in Shortest-path Reasoning, 13\% improvement of human preference in Creative Writing, and 15\% enhancement in the task completion rate of LLM-Agent Planning.