Evaluating Intermediate Reasoning of Code-Assisted Large Language Models for Mathematics
作者: Zena Al-Khalili, Nick Howell, Dietrich Klakow
分类: cs.CL
发布日期: 2025-04-24 (更新: 2025-07-22)
💡 一句话要点
深入评估代码辅助大语言模型在数学推理中的中间推理过程
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码辅助 大语言模型 数学推理 中间推理评估 逻辑合理性
📋 核心要点
- 现有代码辅助大语言模型评估主要关注执行正确性，缺乏对生成程序内在推理过程的深入评估。
- 论文通过人工和自动评估，分析模型生成代码的逻辑合理性，并提出程序分类体系。
- 实验表明，模型能力影响推理逻辑，且问题难度增加会降低所有模型生成合理程序数量。
📝 摘要（中文）
本文针对代码辅助的大语言模型在数学推理任务中的表现，着重分析其生成代码的内在推理过程的合理性，弥补了以往仅关注执行正确性的评估局限。研究对五个大语言模型在多个数学数据集上生成的程序进行了人工和自动评估，并提出了基于逻辑合理性的程序分类体系。结果表明，模型的能力显著影响解决问题的逻辑实现。闭源模型倾向于基于数学概念构建程序，而开源模型则更依赖于不合理的推理、记忆信息和穷举搜索。此外，随着问题难度的增加，所有模型生成的合理程序数量均下降，揭示了大型语言模型在复杂数学问题上的一个关键缺陷，这与准确率指标所显示的性能并不一致。这项工作强调，需要对代码辅助的大语言模型进行更全面的评估，超越执行准确率指标，从而更好地理解大语言模型在数学领域的局限性。
🔬 方法详解
问题定义：论文旨在解决代码辅助的大语言模型在数学推理任务中，现有评估方法过于依赖执行结果的正确性，而忽略了模型生成代码背后的推理过程是否合理、可靠的问题。现有方法无法有效区分模型是通过正确的数学逻辑推理得到答案，还是通过记忆、穷举等不合理的方式得到答案，从而无法准确评估模型的数学推理能力。
核心思路：论文的核心思路是通过深入分析模型生成的代码，评估其内在推理过程的逻辑合理性。通过人工和自动的方式，对代码进行分类，判断其是否基于正确的数学概念和逻辑进行推理，从而更全面地评估模型的数学推理能力。这种方法可以揭示模型在解决数学问题时的真实推理过程，而不仅仅是关注最终答案的正确与否。
技术框架：论文的技术框架主要包括以下几个阶段：1) 选择合适的代码辅助大语言模型和数学推理数据集；2) 让模型生成解决数学问题的代码；3) 对生成的代码进行人工和自动评估，判断其逻辑合理性；4) 基于评估结果，对代码进行分类，形成一个基于逻辑合理性的程序分类体系；5) 分析不同模型在不同难度问题上的表现，揭示模型的优缺点和局限性。
关键创新：论文最重要的技术创新点在于提出了一个评估代码辅助大语言模型在数学推理中中间推理过程合理性的框架。该框架超越了传统的执行正确性评估，深入分析了模型生成代码的内在逻辑，从而更准确地评估模型的数学推理能力。与现有方法相比，该方法能够识别模型是通过正确的数学逻辑推理得到答案，还是通过其他不合理的方式得到答案，从而更全面地评估模型的数学推理能力。
关键设计：论文的关键设计包括：1) 设计了一套评估代码逻辑合理性的标准，用于人工和自动评估；2) 提出了一个基于逻辑合理性的程序分类体系，用于对生成的代码进行分类；3) 选择了多个不同类型的大语言模型和数学推理数据集，以保证评估结果的泛化性；4) 分析了模型在不同难度问题上的表现，以揭示模型的优缺点和局限性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，闭源模型在数学概念的运用上优于开源模型，但所有模型在面对难度增加的问题时，生成的合理程序数量均显著下降。例如，在更复杂的数学问题上，模型的准确率可能很高，但其生成的代码却包含大量不合理的推理步骤，揭示了现有评估方法的局限性。
🎯 应用场景
该研究成果可应用于提升数学教育领域中AI辅导系统的可靠性和教学质量，帮助开发更智能、更可信赖的数学问题求解工具。此外，该研究提出的评估框架可推广到其他需要代码辅助的推理任务中，例如程序调试、知识图谱推理等，促进相关领域的发展。
📄 摘要（原文）
Assisting LLMs with code generation improved their performance on mathematical reasoning tasks. However, the evaluation of code-assisted LLMs is generally restricted to execution correctness, lacking a rigorous evaluation of their generated programs. In this work, we bridge this gap by conducting an in-depth analysis of code-assisted LLMs generated programs in response to math reasoning tasks, with a focus on evaluating the soundness of the underlying reasoning processes. For this purpose, we assess the generations of five LLMs, on several math datasets, both manually and automatically, and propose a taxonomy of generated programs based on their logical soundness. Our findings show that the capabilities of models significantly impact the logic implemented to solve the problem. Closed-source LLMs ground their programs in mathematical concepts, whereas open-source models often resort to unsound reasoning, relying on memorized information and exhaustive searches. Furthermore, increasing the difficulty of problems decreases sound generations for all models, revealing a critical shortcoming of LLMs on complex mathematics, contrary to what accuracy metrics suggest. Our work highlights the need for more holistic evaluations of code-assisted LLMs beyond execution accuracy metrics, toward a better understanding of LLMs' limits in the math domain.