Let's Be Self-generated via Step by Step: A Curriculum Learning Approach to Automated Reasoning with Large Language Models

📄 arXiv: 2410.21728v4 📥 PDF

作者: Kangyang Luo, Zichen Ding, Zhenmin Weng, Lingfeng Qiao, Meng Zhao, Xiang Li, Di Yin, Jinlong Shu

分类: cs.CL

发布日期: 2024-10-29 (更新: 2025-05-30)

备注: Accepted by ACL2025(Findings)

💡 一句话要点

提出LBS3，一种基于课程学习的自动化推理提示方法，提升大语言模型在复杂推理任务中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自动化推理 提示工程 课程学习 Chain of Thought

📋 核心要点

  1. 现有CoT提示方法在提升大语言模型推理能力方面有局限性，需要大量人工干预或性能有待提高。
  2. LBS3方法模仿人类学习习惯，通过课程学习，先易后难地引导LLMs进行推理。
  3. 实验结果表明，LBS3在多种推理任务中，相比现有方法，取得了具有竞争力的性能。

📝 摘要（中文）

本文提出了一种名为LBS3的自动化推理提示方法，该方法受到课程学习的启发，旨在解决现有CoT提示方法依赖人工干预或性能不足的问题。LBS3首先引导大语言模型（LLMs）回忆与目标查询相关的由易到难的代理查询。然后，采用渐进式策略，利用从简单代理查询中获得的示例提示来指导LLMs解决困难代理查询，从而保证代理解决方案的高质量。在各种推理密集型任务中，对不同开源和闭源LLMs进行的大量实验表明，LBS3与最先进的基线方法相比，具有很强的竞争力。

🔬 方法详解

问题定义：现有的大语言模型推理方法，如Chain of Thought (CoT)，虽然有效，但依赖人工设计的提示，或者需要外部数据，无法完全消除人工干预。此外，如何有效地引导LLMs生成高质量的示例提示仍然是一个挑战。

核心思路：LBS3的核心思想是模仿人类的课程学习过程，即从简单到复杂。它首先让LLM回忆与目标问题相关的、难度递增的代理问题，然后利用解决简单代理问题的经验来指导解决更难的代理问题，最终解决目标问题。这种逐步递进的方式可以更有效地利用LLM的知识，并生成更高质量的推理过程。

技术框架：LBS3主要包含以下几个阶段：1) 代理查询生成：根据目标查询，生成一系列难度递增的代理查询。2) 简单代理问题求解：利用LLM解决简单的代理查询，并生成相应的示例提示。3) 渐进式提示：利用简单代理查询的示例提示，指导LLM解决更难的代理查询，逐步提升LLM的推理能力。4) 目标问题求解：最终，利用学习到的知识和经验，解决目标问题。

关键创新：LBS3的关键创新在于将课程学习的思想引入到大语言模型的提示工程中，通过自动生成难度递增的代理问题，并利用解决简单问题的经验来指导解决复杂问题，从而避免了人工设计提示的繁琐和主观性。与以往方法相比，LBS3能够更有效地利用LLM自身的知识，并生成更高质量的推理过程。

关键设计：具体的技术细节包括：如何定义代理查询的难度，如何生成难度递增的代理查询序列，以及如何利用简单代理查询的示例提示来指导解决更难的代理查询。这些都需要根据具体的任务和LLM的特性进行调整和优化。论文中可能涉及了特定的提示模板、损失函数或参数设置，以确保LLM能够有效地学习和推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LBS3在各种推理密集型任务中，与最先进的基线方法相比，取得了具有竞争力的性能。具体的性能提升幅度取决于具体的任务和LLM，但总体趋势是LBS3能够有效地提升LLM的推理能力，并生成更高质量的推理过程。论文中应该给出了具体的性能数据和对比结果，以支持这一结论。

🎯 应用场景

LBS3方法可以广泛应用于需要复杂推理能力的领域，例如数学问题求解、逻辑推理、知识图谱推理、代码生成等。它可以帮助大语言模型更好地理解问题，生成更准确、更可靠的答案。此外，LBS3还可以用于自动化提示工程，减少人工干预，提高大语言模型的开发效率。

📄 摘要（原文）

While Chain of Thought (CoT) prompting approaches have significantly consolidated the reasoning capabilities of large language models (LLMs), they still face limitations that require extensive human effort or have performance needs to be improved. Existing endeavors have focused on bridging these gaps; however, these approaches either hinge on external data and cannot completely eliminate manual effort, or they fall short in effectively directing LLMs to generate high-quality exemplary prompts. To address the said pitfalls, we propose a novel prompt approach for automatic reasoning named \textbf{LBS3}, inspired by curriculum learning which better reflects human learning habits. Specifically, LBS3 initially steers LLMs to recall easy-to-hard proxy queries that are pertinent to the target query. Following this, it invokes a progressive strategy that utilizes exemplary prompts stemmed from easy-proxy queries to direct LLMs in solving hard-proxy queries, enabling the high-quality of the proxy solutions. Finally, our extensive experiments in various reasoning-intensive tasks with varying open- and closed-source LLMs show that LBS3 achieves strongly competitive performance compared to the SOTA baselines.