Small Language Models Fine-tuned to Coordinate Larger Language Models improve Complex Reasoning

📄 arXiv: 2310.18338v2 📥 PDF

作者: Gurusha Juneja, Subhabrata Dutta, Soumen Chakrabarti, Sunny Manchanda, Tanmoy Chakraborty

分类: cs.CL, cs.AI

发布日期: 2023-10-21 (更新: 2024-02-27)

备注: EMNLP 2023 (Typos corrected)

💡 一句话要点

提出DaSLaM以解决复杂推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 问题分解 模块化设计 性能提升

📋 核心要点

  1. 现有方法在处理复杂多步骤推理问题时，依赖单一大型语言模型进行分解和求解，效率低下且计算成本高。
  2. 本文提出DaSLaM，通过将问题分解与解决分开，使用小型语言模型生成子问题，从而提高推理效率。
  3. 实验结果显示，DaSLaM在多个推理数据集上表现优异，1750亿参数的模型在性能上超过了更大规模的GPT-4。

📝 摘要（中文）

大型语言模型（LLMs）在生成链式思维（CoT）时展现出卓越的推理能力。然而，现有的提示分解方法依赖于LLM同时分解和解决问题，这在计算上是不可行的。本文提出DaSLaM，通过使用一个较小的语言模型作为分解生成器，将复杂问题分解为需要较少推理步骤的子问题，并由求解器进行回答。实验表明，使用该方法，1750亿参数的LLM在多个推理数据集上的表现优于其更大版本GPT-4。

🔬 方法详解

问题定义：本文旨在解决复杂推理问题的分解与求解效率低下的问题。现有方法通常依赖于单一的基础大型语言模型进行处理，导致计算成本高且适应性差。

核心思路：论文提出的核心思路是将问题分解与解决过程分开，利用较小的语言模型作为分解生成器，生成子问题并引导求解器进行解答。这种模块化设计使得每个模块可以独立优化，提升整体性能。

技术框架：整体架构包括两个主要模块：分解生成器和求解器。分解生成器负责将复杂问题分解为多个子问题，而求解器则针对这些子问题进行解答。该方法是求解器无关的，能够与不同规模的求解器有效配合。

关键创新：最重要的技术创新在于提出了模块化的分解与求解策略，显著提高了推理效率，并且通过小型模型的训练，避免了对大型模型的依赖。与现有方法相比，DaSLaM在处理复杂问题时展现出更高的灵活性和适应性。

关键设计：在技术细节上，分解生成器使用了13亿参数的语言模型，并通过策略梯度优化进行训练，以便有效引导求解器。损失函数设计旨在最大化子问题的解答准确性，同时保持生成过程的高效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用DaSLaM方法时，1750亿参数的模型在多个推理数据集上的表现优于其更大版本GPT-4，显示出显著的性能提升。此外，模块化的分解策略使得不同规模的求解器均能获得显著的性能改善。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和复杂决策支持系统。通过提高推理效率，DaSLaM能够在多种实际场景中提供更快速和准确的解决方案，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) prompted to generate chain-of-thought (CoT) exhibit impressive reasoning capabilities. Recent attempts at prompt decomposition toward solving complex, multi-step reasoning problems depend on the ability of the LLM to simultaneously decompose and solve the problem. A significant disadvantage is that foundational LLMs are typically not available for fine-tuning, making adaptation computationally prohibitive. We believe (and demonstrate) that problem decomposition and solution generation are distinct capabilites, better addressed in separate modules, than by one monolithic LLM. We introduce DaSLaM, which uses a decomposition generator to decompose complex problems into subproblems that require fewer reasoning steps. These subproblems are answered by a solver. We use a relatively small (13B parameters) LM as the decomposition generator, which we train using policy gradient optimization to interact with a solver LM (regarded as black-box) and guide it through subproblems, thereby rendering our method solver-agnostic. Evaluation on multiple different reasoning datasets reveal that with our method, a 175 billion parameter LM (text-davinci-003) can produce competitive or even better performance, compared to its orders-of-magnitude larger successor, GPT-4. Additionally, we show that DaSLaM is not limited by the solver's capabilities as a function of scale; e.g., solver LMs with diverse sizes give significant performance improvement with our solver-agnostic decomposition technique. Exhaustive ablation studies evince the superiority of our modular finetuning technique over exorbitantly large decomposer LLMs, based on prompting alone.