DialCoT Meets PPO: Decomposing and Exploring Reasoning Paths in Smaller Language Models

📄 arXiv: 2310.05074v3 📥 PDF

作者: Chengcheng Han, Xiaowei Du, Che Zhang, Yixin Lian, Xiang Li, Ming Gao, Baoyuan Wang

分类: cs.CL, cs.AI

发布日期: 2023-10-08 (更新: 2023-10-23)

备注: Accepted to EMNLP 2023

💡 一句话要点

提出DialCoT以解决小型语言模型推理能力不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话引导 链式思维 小型语言模型 推理能力 近端策略优化 算术推理 模型优化

📋 核心要点

  1. 现有的链式思维提示在小型语言模型中效果不佳，甚至可能导致推理能力下降。
  2. 本文提出对话引导链式思维（DialCoT），通过对话格式生成中间推理步骤，优化推理路径选择。
  3. 在四个算术推理数据集上的实验表明，DialCoT方法显著提升了小型语言模型的推理性能。

📝 摘要（中文）

链式思维（CoT）提示在增强大型语言模型（LLMs）推理能力方面已被证明有效，但在小型语言模型（SLMs）中效果不佳。为此，本文提出了对话引导链式思维（DialCoT），通过对话格式生成中间推理步骤，引导模型得出最终答案。同时，利用近端策略优化（PPO）算法优化模型的推理路径选择，进一步提升推理能力。实验结果表明，该方法在四个算术推理数据集上显著提高了性能，相较于现有方法具有明显优势。

🔬 方法详解

问题定义：本文旨在解决小型语言模型在推理任务中表现不佳的问题。现有的链式思维提示在这些模型中效果不理想，导致推理能力不足。

核心思路：提出对话引导链式思维（DialCoT），通过对话格式生成中间推理步骤，帮助模型逐步接近最终答案。同时，采用近端策略优化（PPO）算法优化推理路径选择，提升推理效果。

技术框架：DialCoT的整体架构包括对话生成模块和推理路径优化模块。对话生成模块负责生成中间推理步骤，推理路径优化模块则使用PPO算法选择最佳推理路径。

关键创新：最重要的创新在于将对话格式引入推理过程，使得复杂问题可以分解为一系列简单的子问题，从而降低任务难度。与传统的链式思维方法相比，DialCoT更适合小型语言模型。

关键设计：在模型设计中，采用了特定的对话结构来引导推理，并通过PPO算法进行路径选择优化。具体的参数设置和损失函数设计未在摘要中详细说明，需参考论文的具体内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DialCoT在四个算术推理数据集上显著提高了小型语言模型的性能，相较于最先进的竞争对手，性能提升幅度达到了XX%（具体数据需参考论文）。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理任务等。通过提升小型语言模型的推理能力，DialCoT可以在资源受限的环境中实现更高效的推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Chain-of-Thought (CoT) prompting has proven to be effective in enhancing the reasoning capabilities of Large Language Models (LLMs) with at least 100 billion parameters. However, it is ineffective or even detrimental when applied to reasoning tasks in Smaller Language Models (SLMs) with less than 10 billion parameters. To address this limitation, we introduce Dialogue-guided Chain-of-Thought (DialCoT) which employs a dialogue format to generate intermediate reasoning steps, guiding the model toward the final answer. Additionally, we optimize the model's reasoning path selection using the Proximal Policy Optimization (PPO) algorithm, further enhancing its reasoning capabilities. Our method offers several advantages compared to previous approaches. Firstly, we transform the process of solving complex reasoning questions by breaking them down into a series of simpler sub-questions, significantly reducing the task difficulty and making it more suitable for SLMs. Secondly, we optimize the model's reasoning path selection through the PPO algorithm. We conduct comprehensive experiments on four arithmetic reasoning datasets, demonstrating that our method achieves significant performance improvements compared to state-of-the-art competitors.