SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

📄 arXiv: 2502.09390v1 📥 PDF

作者: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-02-13

备注: 14 pages

🔗 代码/项目: GITHUB

💡 一句话要点

SQuARE：通过自问自答增强LLM链式思考推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 链式思考 自问自答 推理引擎 提示技术

📋 核心要点

  1. 现有链式思考（CoT）方法在充分利用大型语言模型的推理能力方面存在不足，难以应对日益复杂的推理挑战。
  2. SQuARE的核心思想是让模型在回答主要问题之前，先生成并解决一系列相关的辅助问题，从而促进更深入的推理。
  3. 实验结果表明，SQuARE在多个问答数据集上显著优于传统CoT提示和其他重述-响应方法，提升了LLM的推理性能。

📝 摘要（中文）

本文提出了一种名为SQuARE（Sequential Question Answering Reasoning Engine，顺序问答推理引擎）的新型提示技术，旨在通过自问自答模式提升大型语言模型（LLM）的推理能力。SQuARE建立在链式思考（CoT）框架之上，提示模型在处理主要查询之前生成并解决多个辅助问题，从而更全面地探索主题的各个方面。在多个问答数据集上，使用Llama 3和GPT-4o模型进行的大量评估表明，SQuARE显著优于传统的CoT提示和现有的重述-响应方法。通过系统地分解查询，SQuARE提升了LLM在推理任务中的能力。代码已公开。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在复杂推理任务中，传统链式思考（CoT）方法无法充分挖掘模型推理能力的问题。现有CoT方法在处理复杂问题时，可能无法全面考虑问题的各个方面，导致推理过程不够深入和完整。

核心思路：SQuARE的核心思路是引入自问自答机制，让模型在回答最终问题之前，先生成并解决一系列相关的辅助问题。通过分解问题，逐步探索问题的各个方面，从而促进更深入、更全面的推理过程。这种方法模拟了人类解决复杂问题时的思考方式，即先提出一系列相关问题，然后逐一解答，最终得出结论。

技术框架：SQuARE的技术框架主要包括以下几个阶段：1) 接收原始问题；2) 模型生成一系列与原始问题相关的辅助问题；3) 模型逐一回答这些辅助问题；4) 模型利用辅助问题的答案来回答原始问题。整个过程是一个顺序问答的循环，直到模型能够给出令人满意的答案。

关键创新：SQuARE的关键创新在于其自问自答的推理模式。与传统的CoT方法相比，SQuARE不是直接引导模型进行推理，而是让模型主动生成问题并解决问题，从而更全面地探索问题的各个方面。这种方法可以有效地避免模型陷入局部最优解，提高推理的准确性和可靠性。

关键设计：SQuARE的关键设计包括辅助问题的生成策略和答案的整合方式。辅助问题的生成策略需要保证问题的相关性和多样性，避免模型陷入重复的思考。答案的整合方式需要有效地利用辅助问题的答案来指导最终答案的生成，避免信息冗余或冲突。具体的参数设置和网络结构取决于所使用的LLM模型。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SQuARE在多个问答数据集上显著优于传统的CoT提示和其他重述-响应方法。具体而言，SQuARE在Llama 3和GPT-4o模型上都取得了显著的性能提升，证明了其有效性和通用性。这些结果表明，通过自问自答的推理模式，SQuARE可以有效地提升LLM在复杂推理任务中的能力。

🎯 应用场景

SQuARE具有广泛的应用前景，可应用于智能客服、自动问答系统、教育辅导、科研助手等领域。通过提升LLM的推理能力，SQuARE可以帮助人们更有效地解决复杂问题，提高工作效率，并促进知识的传播和创新。未来，SQuARE有望成为LLM推理能力提升的重要技术手段。

📄 摘要（原文）

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.