Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models

📄 arXiv: 2310.04743v2 📥 PDF

作者: Song Jiang, Zahra Shakeri, Aaron Chan, Maziar Sanjabi, Hamed Firooz, Yinglong Xia, Bugra Akyildiz, Yizhou Sun, Jinchao Li, Qifan Wang, Asli Celikyilmaz

分类: cs.CL

发布日期: 2023-10-07 (更新: 2024-05-08)

备注: 29 pages

💡 一句话要点

提出残差连接提示以提升大语言模型的多步推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多步推理 大语言模型 链式思维 残差连接 推理图 自然语言处理 模型优化

📋 核心要点

  1. 现有的链式思维提示在处理多步推理问题时效果有限，无法捕捉推理过程中的复杂依赖关系。
  2. 本文提出残差连接提示，通过在提示中重构推理图，整合必要的连接，提升多步推理的效果。
  3. 在多个基准测试中，RESPROMPT在复杂多步推理任务上表现突出，平均提升了12.5%的推理准确率。

📝 摘要（中文）

链式思维（CoT）提示通过逐步问题解决推理，显著释放了大语言模型（LLMs）的推理潜力。然而，标准的CoT在处理多步推理问题时效果不佳，因其线性结构无法有效捕捉复杂的推理图。为此，本文提出了残差连接提示（RESPROMPT），通过在提示中重构推理图，整合缺失的连接，显著提升了多步推理的准确性。实验表明，RESPROMPT在多个基准测试中表现优异，尤其在复杂多步推理任务中，较最佳CoT基准有显著提升。

🔬 方法详解

问题定义：本文旨在解决标准链式思维提示在多步推理问题中的不足，特别是其线性结构无法有效表示推理过程中的复杂依赖关系。

核心思路：提出残差连接提示（RESPROMPT），通过在提示中重构推理图，整合缺失的连接，以更好地捕捉多步推理的复杂性。

技术框架：RESPROMPT的整体架构包括推理图的构建、残差连接的整合以及最终的推理输出。主要模块包括推理图生成模块和连接整合模块。

关键创新：最重要的创新在于引入残差连接，将线性CoT结构转化为图表示，能够有效捕捉多步推理中的复杂关系，这是与现有方法的本质区别。

关键设计：在设计中，关键参数包括连接的选择和整合方式，损失函数的设计也考虑了推理的复杂性，以确保模型能够有效学习这些连接。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

在实验中，RESPROMPT在LLaMA-65B模型上实现了平均推理准确率提升12.5%，在LLaMA2-70B上提升6.8%。特别是在需要至少五步推理的问题上，RESPROMPT较最佳CoT基准平均提升21.1%。

🎯 应用场景

该研究的潜在应用领域包括教育、金融决策、法律分析等需要复杂推理的场景。通过提升大语言模型的推理能力，能够在这些领域提供更准确的决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Chain-of-thought (CoT) prompting, which offers step-by-step problem-solving rationales, has impressively unlocked the reasoning potential of large language models (LLMs). Yet, the standard CoT is less effective in problems demanding multiple reasoning steps. This limitation arises from the complex reasoning process in multi-step problems: later stages often depend on the results of several steps earlier, not just the results of the immediately preceding step. Such complexities suggest the reasoning process is naturally represented as a graph. The almost linear and straightforward structure of CoT prompting, however, struggles to capture this complex reasoning graph. To address this challenge, we propose Residual Connection Prompting (RESPROMPT), a new prompting strategy that advances multi-step reasoning in LLMs. Our key idea is to reconstruct the reasoning graph within prompts. We achieve this by integrating necessary connections-links present in the reasoning graph but missing in the linear CoT flow-into the prompts. Termed "residual connections", these links are pivotal in morphing the linear CoT structure into a graph representation, effectively capturing the complex reasoning graphs inherent in multi-step problems. We evaluate RESPROMPT on six benchmarks across three diverse domains: math, sequential, and commonsense reasoning. For the open-sourced LLaMA family of models, RESPROMPT yields a significant average reasoning accuracy improvement of 12.5% on LLaMA-65B and 6.8% on LLaMA2-70B. Breakdown analysis further highlights RESPROMPT particularly excels in complex multi-step reasoning: for questions demanding at least five reasoning steps, RESPROMPT outperforms the best CoT based benchmarks by a remarkable average improvement of 21.1% on LLaMA-65B and 14.3% on LLaMA2-70B. Through extensive ablation studies and analyses, we pinpoint how to most effectively build residual connections.