Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning

📄 arXiv: 2310.13552v2 📥 PDF

作者: Jinyuan Wang, Junlong Li, Hai Zhao

分类: cs.CL, cs.AI

发布日期: 2023-10-20 (更新: 2023-10-23)

备注: Accepted by Findings of EMNLP2023

💡 一句话要点

提出自促链式思维以解决开放领域多跳推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放领域问答 多跳推理 链式思维 大型语言模型 自动化生成 自促推理 数据集生成

📋 核心要点

  1. 现有的自动化推理方法缺乏质量保证，手动方法则在可扩展性和多样性上存在不足，限制了大型语言模型的能力。
  2. 本文提出自促链式思维（SP-CoT），通过LLMs自动生成高质量的链式思维，解决了现有方法的局限性。
  3. 在四个多跳问答基准上，SP-CoT显著超越了之前的最先进方法，并将小规模LLMs的零-shot性能几乎翻倍。

📝 摘要（中文）

在开放领域问答（ODQA）中，大多数现有问题需要基于常识进行单跳推理。为扩展此任务，本文首次引入开放领域多跳推理（ODMR），通过明确的推理步骤回答多跳问题。尽管大型语言模型（LLMs）在促进ODQA方面表现出色，但现有的自动化方法缺乏质量保证，而手动方法则面临可扩展性和多样性不足的问题。为此，本文提出自促链式思维（SP-CoT），这是一个自动化框架，旨在大规模生成高质量的链式思维。实验表明，SP-CoT在多个多跳问答基准上显著超越了现有的最先进方法，并几乎将小规模LLMs的零-shot性能提升了一倍。

🔬 方法详解

问题定义：本文旨在解决开放领域多跳推理（ODMR）中的推理步骤生成问题。现有方法在质量和可扩展性上存在明显不足，限制了大型语言模型的有效性。

核心思路：SP-CoT通过自动化生成高质量的链式思维，利用LLMs自身的能力进行推理，旨在提高推理的准确性和多样性。

技术框架：SP-CoT的整体架构包括高质量ODMR数据集的自动生成管道、上下文链式思维选择的自适应采样器以及通过上下文学习进行自促推理的模块。

关键创新：SP-CoT的主要创新在于其自动化生成高质量链式思维的能力，显著提升了推理的效率和准确性，与现有手动或低质量自动方法形成鲜明对比。

关键设计：在设计中，SP-CoT采用了自适应采样策略来选择上下文中的链式思维，并通过自促推理机制来优化推理过程，确保生成的推理步骤既准确又简洁。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SP-CoT在多个多跳问答基准上显著超越了之前的最先进方法，尤其是在175B的大型语言模型上，性能提升明显。此外，SP-CoT几乎将13B小型语言模型的零-shot性能提升了一倍，展现了其强大的推理能力。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育辅助工具和信息检索等。通过提高多跳推理的能力，SP-CoT能够在更复杂的问答场景中提供准确的信息，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

In open-domain question-answering (ODQA), most existing questions require single-hop reasoning on commonsense. To further extend this task, we officially introduce open-domain multi-hop reasoning (ODMR) by answering multi-hop questions with explicit reasoning steps in open-domain setting. Recently, large language models (LLMs) have found significant utility in facilitating ODQA without external corpus. Furthermore, chain-of-thought (CoT) prompting boosts the reasoning capability of LLMs to a greater extent with manual or automated paradigms. However, existing automated methods lack of quality assurance, while manual approaches suffer from limited scalability and poor diversity, hindering the capabilities of LLMs. In this paper, we propose Self-prompted Chain-of-Thought (SP-CoT), an automated framework to mass-produce high quality CoTs of LLMs, by LLMs and for LLMs. SP-CoT introduces an automated generation pipeline of high quality ODMR datasets, an adaptive sampler for in-context CoT selection and self-prompted inference via in-context learning. Extensive experiments on four multi-hop question-answering benchmarks show that our proposed SP-CoT not only significantly surpasses the previous SOTA methods on large-scale (175B) LLMs, but also nearly doubles the zero-shot performance of small-scale (13B) LLMs. Further analysis reveals the remarkable capability of SP-CoT to elicit direct and concise intermediate reasoning steps by recalling $\sim$50\% of intermediate answers on MuSiQue-Ans dataset.