Guiding Language Model Reasoning with Planning Tokens

📄 arXiv: 2310.05707v4 📥 PDF

作者: Xinyi Wang, Lucas Caccia, Oleksiy Ostapenko, Xingdi Yuan, William Yang Wang, Alessandro Sordoni

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-09 (更新: 2024-08-06)

备注: Accepted to COLM 2024

💡 一句话要点

提出层次化生成方案以增强语言模型推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 推理能力 层次化生成 规划标记 数据驱动

📋 核心要点

  1. 现有方法在增强语言模型推理能力时，过于依赖数据驱动，忽视了推理过程的结构性。
  2. 本文提出通过生成规划标记来引导推理过程，从而促进更结构化的推理步骤生成。
  3. 实验结果显示，该方法在多个数据集上显著提高了模型的准确性，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）因其在复杂推理任务中的表现而备受关注，尤其是在链式推理（CoT）方面。然而，现有方法大多依赖数据驱动，忽视了模型推理能力的结构性。为此，本文提出了一种层次化生成方案，在每个推理步骤开始时生成规划标记，作为当前步骤的高层次计划，并将其嵌入到模型参数中。该方法仅需微乎其微的可训练参数增加（0.001%），可通过完全微调或更高效的参数方案应用。实验表明，该方法在三个数学文字问题数据集和一个多跳问答数据集上，相较于标准微调基线，显著提高了准确性。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在推理任务中缺乏结构性的问题。现有方法往往依赖大量数据，导致推理过程不够清晰和系统化。

核心思路：论文提出在每个推理步骤开始时生成一个规划标记，作为高层次的计划，从而引导模型生成更结构化的推理步骤。这种设计旨在增强模型的推理能力，使其在复杂任务中表现更佳。

技术框架：整体架构包括输入处理、规划标记生成、推理步骤生成和输出阶段。模型首先生成规划标记，然后基于该标记进行推理步骤的生成，最后输出结果。

关键创新：最重要的创新在于引入规划标记，这一机制与传统的单纯数据驱动方法有本质区别。通过结构化的生成过程，模型能够更好地理解和执行推理任务。

关键设计：在参数设置上，规划标记的嵌入仅增加了0.001%的可训练参数。此外，模型可以选择完全微调或更高效的参数调整方案，以适应不同的应用需求。实验中使用的损失函数和网络结构均保持与标准微调一致，以确保结果的可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在三个数学文字问题数据集和一个多跳问答数据集上，相较于标准微调基线，准确性显著提升，具体提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括教育、金融和科学研究等需要复杂推理的场景。通过提升语言模型的推理能力，可以在自动问答、智能辅导和决策支持等方面发挥重要作用，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have recently attracted considerable interest for their ability to perform complex reasoning tasks, such as chain-of-thought (CoT) reasoning. However, most of the existing approaches to enhance this ability rely heavily on data-driven methods, while neglecting the structural aspects of the model's reasoning capacity. To encourage a more structural generation of CoT steps, we propose a hierarchical generation scheme: we let the LM generate a planning token at the start of each reasoning step, intuitively serving as a high-level plan of the current step, and add their embeddings to the model parameters. Our approach requires a negligible increase in trainable parameters (0.001%) and can be applied through either full fine-tuning or a more parameter-efficient scheme. We demonstrate our method's effectiveness by applying it to three different LLMs, showing notable accuracy improvements across three math word problem datasets and one multihop QA dataset with respect to standard fine-tuning baselines.