Self-Error-Instruct: Generalizing from Errors for LLMs Mathematical Reasoning

📄 arXiv: 2505.22591v1 📥 PDF

作者: Erxin Yu, Jing Li, Ming Liao, Qi Zhu, Boyang Xue, Minghui Xu, Baojun Wang, Lanqing Hong, Fei Mi, Lifeng Shang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-28

备注: 16 pages, 9 figures

💡 一句话要点

提出Self-Error-Instruct框架，通过错误泛化提升LLM数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 错误泛化 自监督学习 指令学习

📋 核心要点

  1. 现有方法在数学推理错误学习中，仅从孤立案例推断，缺乏对错误模式的泛化能力。
  2. Self-Error-Instruct框架通过分析错误案例，提取错误类型，并生成针对性训练数据，提升模型泛化能力。
  3. 实验表明，该框架能有效提升LLM在数学数据集上的推理能力，包括领域内和跨领域数据集。

📝 摘要（中文）

大型语言模型在各个领域表现出色，但在数学推理方面仍存在诸多不足。以往的错误学习方法仅从孤立的错误案例中推断，无法泛化这些案例中固有的广泛模式。本文提出了Self-Error-Instruct (SEI) 框架，旨在解决这些模型弱点，并合成更具泛化性的目标训练数据。具体而言，该框架首先在GSM8K和MATH数据集上识别目标模型的错误案例，然后基于指导模型（GPT-4o）的分析生成错误关键词，并通过聚类识别错误类型。接着，针对每种错误类型，在每次生成时抽样少量错误案例，并将其输入到指导模型中，利用自指令方法合成额外的训练数据。通过单样本学习过程提炼这些新数据，以确保只保留最有效的示例。最后，使用这些精选的数据微调目标模型，并迭代重复该过程以提高性能。该框架应用于各种模型，并观察到其在领域内和跨领域数学数据集上的推理能力均有所提高。结果表明，自错误指导通过错误泛化有效地提升了LLM的数学推理能力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在数学推理中存在的错误泛化问题。现有方法通常只关注孤立的错误案例，而忽略了这些案例背后隐藏的更广泛的错误模式，导致模型无法有效地从错误中学习并提升性能。

核心思路：论文的核心思路是通过“自错误指导”（Self-Error-Instruct）框架，让模型能够从自身的错误中学习，并泛化这些错误模式。该框架利用一个指导模型（如GPT-4o）来分析目标模型的错误案例，提取错误类型，并生成针对性的训练数据，从而提升目标模型的数学推理能力。

技术框架：Self-Error-Instruct框架包含以下主要阶段： 1. 错误识别：在数学数据集上运行目标模型，识别其错误案例。 2. 错误分析：使用指导模型（GPT-4o）分析错误案例，提取错误关键词，并通过聚类识别不同的错误类型。 3. 数据合成：针对每种错误类型，抽样少量错误案例，并将其输入到指导模型中，利用自指令方法生成额外的训练数据。 4. 数据提炼：通过单样本学习过程，筛选并保留最有效的训练示例。 5. 模型微调：使用精选的训练数据微调目标模型。 6. 迭代优化：重复上述过程，迭代提升模型性能。

关键创新：该方法最重要的创新点在于其“自错误指导”的思想，即利用模型自身的错误来指导训练数据的生成，从而实现更有效的错误泛化。与现有方法相比，该方法能够更全面地捕捉错误模式，并生成更具针对性的训练数据。

关键设计：在数据合成阶段，使用了GPT-4o作为指导模型，利用其强大的语言理解和生成能力来分析错误案例并生成新的训练数据。在数据提炼阶段，使用了单样本学习方法，通过评估每个训练样本对模型性能的影响来筛选和保留最有效的样本。错误类型聚类算法的选择和参数设置也会影响最终效果，具体实现细节论文中可能未详细说明。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，Self-Error-Instruct框架能够有效提升LLM在GSM8K和MATH数据集上的数学推理能力。具体提升幅度未知，但论文强调了在领域内和跨领域数据集上均观察到性能提升，证明了该方法的泛化能力。

🎯 应用场景

该研究成果可应用于提升各种LLM在数学、科学、工程等领域的推理能力。通过自错误指导，模型可以更好地理解和纠正自身的错误，从而提高解决复杂问题的能力。此外，该方法还可以扩展到其他需要精确推理的领域，例如代码生成、逻辑推理等，具有广泛的应用前景。

📄 摘要（原文）

Although large language models demonstrate strong performance across various domains, they still struggle with numerous bad cases in mathematical reasoning. Previous approaches to learning from errors synthesize training data by solely extrapolating from isolated bad cases, thereby failing to generalize the extensive patterns inherent within these cases. This paper presents Self-Error-Instruct (SEI), a framework that addresses these model weaknesses and synthesizes more generalized targeted training data. Specifically, we explore a target model on two mathematical datasets, GSM8K and MATH, to pinpoint bad cases. Then, we generate error keyphrases for these cases based on the instructor model's (GPT-4o) analysis and identify error types by clustering these keyphrases. Next, we sample a few bad cases during each generation for each identified error type and input them into the instructor model, which synthesizes additional training data using a self-instruct approach. This new data is refined through a one-shot learning process to ensure that only the most effective examples are kept. Finally, we use these curated data to fine-tune the target model, iteratively repeating the process to enhance performance. We apply our framework to various models and observe improvements in their reasoning abilities across both in-domain and out-of-domain mathematics datasets. These results demonstrate the effectiveness of self-error instruction in improving LLMs' mathematical reasoning through error generalization.