Trace-of-Thought Prompting: Investigating Prompt-Based Knowledge Distillation Through Question Decomposition

📄 arXiv: 2504.20946v2 📥 PDF

作者: Tyler McDonald, Ali Emami

分类: cs.CL, cs.AI

发布日期: 2025-04-29 (更新: 2025-04-30)

💡 一句话要点

提出Trace-of-Thought Prompting，用于低资源模型知识蒸馏，提升推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 问题分解 提示学习 低资源模型 推理能力

📋 核心要点

  1. 传统LLM知识蒸馏方法依赖大量微调，成本高昂且可及性有限，阻碍了低资源模型的推理能力提升。
  2. Trace-of-Thought Prompting通过问题分解，将复杂推理过程拆解为可解释的步骤，便于知识迁移和人工干预。
  3. 实验表明，该方法显著提升了低资源模型在GSM8K和MATH数据集上的准确率，最高提升分别达到113%和21%。

📝 摘要（中文）

本文提出了一种名为Trace-of-Thought Prompting的新框架，旨在将高资源教师模型（超过80亿参数）的关键推理能力提炼到低资源学生模型（高达80亿参数）。该方法利用问题分解来增强可解释性，并促进人机协同干预。在GSM8K和MATH数据集上的实证评估表明，学生模型在GSM8K上的准确率提高了高达113%，在MATH上的准确率提高了21%，尤其是在Llama 2和Zephyr等较小模型中，改进尤为显著。研究结果表明，开源、低资源模型有望同时充当学生和教师，从而可能减少对高资源、专有模型的依赖。

🔬 方法详解

问题定义：论文旨在解决大型语言模型知识蒸馏中，低资源模型难以有效学习高资源模型推理能力的问题。现有方法通常需要大量的计算资源进行微调，这对于资源有限的场景来说是一个巨大的挑战，同时也限制了开源社区的发展。此外，传统的蒸馏方法缺乏可解释性，难以进行人工干预和优化。

核心思路：论文的核心思路是通过问题分解，将复杂的推理问题分解为一系列更小的、更易于理解的子问题。通过让学生模型学习如何逐步解决这些子问题，从而模仿教师模型的推理过程。这种方法不仅提高了蒸馏效率，还增强了模型的可解释性，使得人工干预成为可能。

技术框架：Trace-of-Thought Prompting框架主要包含以下几个阶段：1) 问题分解：利用教师模型对原始问题进行分解，生成一系列中间推理步骤。2) 提示构建：根据分解后的子问题，构建相应的提示，引导学生模型进行推理。3) 知识蒸馏：利用教师模型的输出作为监督信号，训练学生模型学习如何解决子问题。4) 结果整合：将学生模型对各个子问题的解答整合起来，得到最终的答案。

关键创新：该方法最重要的技术创新点在于利用问题分解来增强知识蒸馏的可解释性和效率。与传统的端到端蒸馏方法相比，Trace-of-Thought Prompting能够让学生模型更好地理解教师模型的推理过程，从而更有效地学习其推理能力。此外，问题分解还使得人工干预成为可能，可以针对学生模型在特定步骤上的错误进行纠正。

关键设计：论文中关键的设计包括：1) 如何有效地分解问题，确保子问题既易于解决，又能覆盖原始问题的关键信息。2) 如何构建合适的提示，引导学生模型进行推理，避免其陷入歧途。3) 如何选择合适的损失函数，衡量学生模型与教师模型之间的差异，并进行优化。具体的参数设置和网络结构选择取决于具体的任务和模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Trace-of-Thought Prompting能够显著提升低资源模型在GSM8K和MATH数据集上的准确率。例如，在GSM8K数据集上，学生模型的准确率最高提升了113%，在MATH数据集上，准确率最高提升了21%。尤其值得注意的是，Llama 2和Zephyr等较小模型在应用该方法后，性能提升尤为显著，这表明该方法对于提升低资源模型的推理能力具有重要意义。

🎯 应用场景

该研究成果可广泛应用于需要低成本、高效率推理能力的场景，例如移动设备上的智能助手、边缘计算环境下的自然语言处理应用等。通过知识蒸馏，可以将大型预训练模型的推理能力迁移到小型模型上，从而降低计算成本和延迟，提高用户体验。此外，该方法还有助于推动开源社区的发展，使得更多人能够利用大型语言模型的强大能力。

📄 摘要（原文）

Knowledge distillation allows smaller neural networks to emulate the performance of larger, teacher models with reduced computational demands. Traditional methods for Large Language Models (LLMs) often necessitate extensive fine-tuning, which limits their accessibility. To address this, we introduce Trace-of-Thought Prompting, a novel framework designed to distill critical reasoning capabilities from high-resource teacher models (over 8 billion parameters) to low-resource student models (up to 8 billion parameters). This approach leverages problem decomposition to enhance interpretability and facilitate human-in-the-loop interventions. Empirical evaluations on the GSM8K and MATH datasets show that student models achieve accuracy gains of up to 113% on GSM8K and 21% on MATH, with significant improvements particularly notable in smaller models like Llama 2 and Zephyr. Our results suggest a promising pathway for open-source, low-resource models to eventually serve both as both students and teachers, potentially reducing our reliance on high-resource, proprietary models.