MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs

📄 arXiv: 2410.13502v3 📥 PDF

作者: Andreas Opedal, Haruki Shirakami, Bernhard Schölkopf, Abulhair Saparov, Mrinmaya Sachan

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-17 (更新: 2025-02-14)

备注: ICLR 2025

💡 一句话要点

MathGAP：用于评估LLM在任意复杂证明问题上的泛化能力的数据集与框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 算术推理 泛化能力 数据集生成 思维链

📋 核心要点

  1. 现有算术文字问题数据集不足以评估LLM在复杂推理场景下的泛化能力，因为数据可能已泄露且缺乏对证明复杂度的系统控制。
  2. MathGAP框架通过控制算术证明结构的深度、宽度和非线性程度，生成具有不同复杂度的算术文字问题及其思维链推理过程。
  3. 实验表明，LLM在MathGAP数据集上，随着证明复杂度的增加，性能显著下降，尤其是在非线性证明结构和句子顺序变化的情况下。

📝 摘要（中文）

大型语言模型（LLM）在解决算术文字问题方面表现出很高的准确性，但对其泛化到更复杂问题的能力知之甚少。这方面的研究面临挑战，因为（i）现有评估数据中的大部分已经被最强大的模型在训练期间见过，并且（ii）现有基准无法捕捉问题证明在各个方面可能具有的任意复杂性。本文提出了一个名为MathGAP的数据生成框架，用于评估LLM在具有任意复杂算术证明的问题上的表现。MathGAP根据算术证明结构的规范生成问题陈述和思维链推理轨迹，从而能够系统地研究关于证明树复杂度的由易到难的泛化。使用MathGAP，我们发现LLM的性能随着证明深度和宽度的增加而显著下降。这种影响在复杂的非线性证明结构中更为明显，即使对于最强大的模型也具有挑战性。模型对句子顺序的简单变化也很敏感。然而，它们仍然能够解决一些复杂的问题，表明推理泛化是存在噪声的。

🔬 方法详解

问题定义：论文旨在解决现有算术文字问题数据集无法有效评估大型语言模型（LLM）在复杂推理场景下的泛化能力的问题。现有数据集存在数据泄露，并且缺乏对问题证明复杂度的系统控制，导致无法准确评估LLM在超出训练分布范围外的表现。现有方法难以区分模型是真正理解了推理过程，还是仅仅记忆了训练数据。

核心思路：论文的核心思路是通过构建一个可控的数据生成框架，即MathGAP，来系统地生成具有不同复杂度算术证明的问题。通过控制证明树的深度、宽度和非线性程度，可以生成从简单到复杂的各种问题，从而能够更精细地评估LLM在不同复杂度下的推理能力。这种方法允许研究者精确地控制问题的难度，并观察LLM在面对不同挑战时的表现。

技术框架：MathGAP框架包含以下主要模块：1) 证明树生成器：根据预定义的复杂度参数（深度、宽度、非线性程度）生成算术证明树。2) 问题生成器：将证明树转换为自然语言描述的算术文字问题。3) 思维链生成器：根据证明树生成逐步推理的思维链轨迹。整个流程确保了问题和推理过程的一致性，并且可以系统地控制问题的复杂度。

关键创新：MathGAP的关键创新在于其可控的数据生成过程，能够系统地生成具有不同复杂度算术证明的问题。与现有数据集相比，MathGAP允许研究者精确地控制问题的难度，并观察LLM在面对不同挑战时的表现。此外，MathGAP还能够生成思维链推理过程，这使得可以更深入地分析LLM的推理过程。

关键设计：MathGAP的关键设计包括：1) 证明树的表示方式：使用有向无环图来表示算术证明树，其中节点表示算术运算，边表示运算之间的依赖关系。2) 复杂度参数的定义：使用深度、宽度和非线性程度来量化证明树的复杂度。3) 问题生成策略：使用模板和规则将证明树转换为自然语言描述的算术文字问题。4) 思维链生成策略：根据证明树的结构，逐步生成推理步骤，并使用自然语言描述每个步骤。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在MathGAP数据集上，随着证明深度和宽度的增加，性能显著下降。例如，在非线性证明结构中，即使是最强大的模型也难以达到较高的准确率。此外，模型对句子顺序的简单变化也很敏感，这表明LLM的推理能力仍然存在局限性。这些发现为改进LLM的推理能力提供了重要的指导。

🎯 应用场景

MathGAP的研究成果可应用于评估和提升LLM在数学推理、逻辑推理等领域的泛化能力。该框架可用于开发更鲁棒、更可靠的AI系统，并促进AI在教育、科学研究等领域的应用。此外，MathGAP的设计思想可以推广到其他复杂推理任务的数据集构建中。

📄 摘要（原文）

Large language models (LLMs) can solve arithmetic word problems with high accuracy, but little is known about how well they generalize to more complex problems. This is difficult to study, as (i) much of the available evaluation data has already been seen by the most capable models during training, and (ii) existing benchmarks do not capture how problem proofs may be arbitrarily complex in various ways. In this paper, we present a data-generation framework for evaluating LLMs on problems with arbitrarily complex arithmetic proofs, called MathGAP. MathGAP generates problem statements and chain-of-thought reasoning traces according to specifications about their arithmetic proof structure, enabling systematic studies on easy-to-hard generalization with respect to complexity of proof trees. Using MathGAP, we find that LLMs show a significant decrease in performance as proofs get deeper and wider. This effect is more pronounced in complex, nonlinear proof structures, which are challenging even for the most capable models. The models are also sensitive to simple changes in sentence ordering. However, they remain capable of solving some complex problems, suggesting that reasoning generalization is noisy.