CoT-Self-Instruct: Building high-quality synthetic prompts for reasoning and non-reasoning tasks

📄 arXiv: 2507.23751v2 📥 PDF

作者: Ping Yu, Jack Lanchantin, Tianlu Wang, Weizhe Yuan, Olga Golovneva, Ilia Kulikov, Sainbayar Sukhbaatar, Jason Weston, Jing Xu

分类: cs.AI, cs.CL

发布日期: 2025-07-31 (更新: 2025-09-03)

💡 一句话要点

提出CoT-Self-Instruct，通过高质量合成数据提升LLM推理与非推理任务性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 思维链 合成数据生成 自指令学习 推理能力 指令遵循 数据过滤 自动评估

📋 核心要点

  1. 现有训练数据在复杂推理和指令遵循任务中存在不足，限制了LLM的性能提升。
  2. CoT-Self-Instruct利用LLM生成高质量合成数据，通过CoT推理规划和自动指标过滤提升数据质量。
  3. 实验表明，该方法在推理和指令遵循任务上均优于现有数据集和训练方法，显著提升LLM性能。

📝 摘要（中文）

本文提出了一种名为CoT-Self-Instruct的合成数据生成方法。该方法首先指示大型语言模型（LLM）基于给定的种子任务，通过思维链（Chain-of-Thought, CoT）进行推理和规划，然后生成具有相似质量和复杂性的新合成示例。接着，利用自动指标进行过滤，筛选出高质量的数据，并将其用于LLM训练。在可验证的推理任务中，我们的合成数据在MATH500、AMC23、AIME24和GPQA-Diamond上的表现显著优于现有的训练数据集，如s1k和OpenMathReasoning。对于不可验证的指令遵循任务，我们的方法在AlpacaEval 2.0和Arena-Hard基准测试中，超越了人工数据和标准Self-Instruct训练数据的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在推理和指令遵循任务中，由于训练数据质量不足而导致的性能瓶颈问题。现有的训练数据集，无论是人工标注还是通过Self-Instruct生成，都难以保证数据质量和复杂性，尤其是在需要复杂推理的任务中，数据质量对模型性能影响巨大。

核心思路：CoT-Self-Instruct的核心思路是利用LLM自身的能力，通过思维链（CoT）推理生成高质量的合成数据，并结合自动指标进行数据过滤，从而构建更有效的训练数据集。这种方法能够充分利用LLM的知识和推理能力，生成更具挑战性和多样性的训练样本。

技术框架：CoT-Self-Instruct主要包含以下几个阶段：1) 基于少量种子任务，指示LLM进行CoT推理和规划；2) LLM根据CoT推理过程生成新的合成示例；3) 使用自动指标（如困惑度、奖励模型等）对生成的数据进行质量评估和过滤；4) 将筛选出的高质量数据用于LLM的训练。整个流程旨在迭代提升训练数据的质量和多样性。

关键创新：该方法最重要的创新点在于结合了CoT推理和自动数据过滤，从而能够生成高质量的合成数据。与传统的Self-Instruct方法相比，CoT-Self-Instruct能够生成更具逻辑性和推理深度的样本，而自动数据过滤则能够有效去除低质量的噪声数据，从而提升训练效果。

关键设计：在CoT推理阶段，论文可能采用了特定的prompt模板来引导LLM进行推理和规划。在自动数据过滤阶段，可能使用了多种指标的组合，例如困惑度用于衡量生成文本的流畅性，奖励模型用于评估生成文本的正确性和相关性。具体的参数设置和指标权重可能需要根据不同的任务进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，CoT-Self-Instruct生成的合成数据在MATH500、AMC23、AIME24和GPQA-Diamond等推理基准测试中，显著优于s1k和OpenMathReasoning等现有数据集。在AlpacaEval 2.0和Arena-Hard等指令遵循基准测试中，该方法也超越了人工数据和标准Self-Instruct训练数据的性能，表明其在提升LLM推理和指令遵循能力方面的有效性。

🎯 应用场景

CoT-Self-Instruct可广泛应用于各种需要复杂推理和指令遵循的场景，例如数学问题求解、代码生成、对话系统等。该方法能够降低对人工标注数据的依赖，加速LLM的训练和部署，并有望提升LLM在实际应用中的智能化水平和泛化能力。未来，该方法还可以扩展到其他模态的数据生成，例如图像、音频等。

📄 摘要（原文）

We propose CoT-Self-Instruct, a synthetic data generation method that instructs LLMs to first reason and plan via Chain-of-Thought (CoT) based on given seed tasks, and then generate a new synthetic example of similar quality and complexity. This is followed by a filtering step to select high-quality data using automatic metrics, which are then used for LLM training. In verifiable reasoning, our synthetic data significantly outperforms existing training datasets, such as s1k and OpenMathReasoning, when evaluated on MATH500, AMC23, AIME24, and GPQA-Diamond. For non-verifiable instruction-following tasks, our method surpasses the performance of both human and standard Self-Instruct training data on the AlpacaEval 2.0 and Arena-Hard benchmarks.