Template-Driven LLM-Paraphrased Framework for Tabular Math Word Problem Generation

📄 arXiv: 2412.15594v1 📥 PDF

作者: Xiaoqiang Kang, Zimu Wang, Xiaobo Jin, Wei Wang, Kaizhu Huang, Qiufeng Wang

分类: cs.CL

发布日期: 2024-12-20

备注: Accepted at AAAI 2025, extended version with appendix

🔗 代码/项目: GITHUB

💡 一句话要点

提出TeLL框架，利用模板驱动和LLM复述生成高质量表格数学应用题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数学应用题生成 LLM复述 模板驱动 数据增强 数学推理

📋 核心要点

  1. 现有表格数学应用题生成方法在保证正确性的同时，难以兼顾样本的多样性，限制了LLM的训练效果。
  2. TeLL框架通过模板提取保证问题正确性，利用LLM进行复述和扩展，从而提升生成样本的多样性。
  3. 实验表明，使用TeLL框架生成的数据集TabMWP-TeLL，能够有效提升多种LLM在表格数学应用题上的求解性能。

📝 摘要（中文）

本文提出了一种模板驱动的LLM复述（TeLL）框架，用于生成高质量的表格数学应用题（TMWP）样本，以解决LLM微调所需的大规模数据集问题。现有方法生成的样本通常在正确性或多样性方面存在不足。TeLL框架首先从现有真实样本中提取模板以生成初始问题，确保正确性。然后，利用LLM扩展模板并复述问题，获得多样化的TMWP样本。此外，论文强调了推理标注对于解决TMWP的重要性，并提出通过说明性的推理步骤来丰富每个解决方案。通过该框架，构建了一个高质量的TabMWP-TeLL数据集，并通过在各种LLM上进行的大量实验，证明了TabMWP-TeLL在提高TMWP解决性能方面的有效性。

🔬 方法详解

问题定义：论文旨在解决表格数学应用题（TMWP）数据集构建成本高昂且现有自动生成方法难以同时保证正确性和多样性的问题。现有方法要么过于依赖固定模板，导致生成的问题缺乏新意，要么过度依赖LLM的自由生成，导致问题逻辑错误或与表格数据不符。

核心思路：论文的核心思路是结合模板的严谨性和LLM的创造性。首先，从现有的高质量TMWP数据集中提取模板，确保生成问题的基本正确性。然后，利用LLM对这些模板进行复述和扩展，引入更多样化的背景和表达方式，从而在保证正确性的前提下，提高生成问题的多样性。

技术框架：TeLL框架包含以下几个主要阶段：1) 模板提取：从现有TMWP数据集中提取问题和解决方案的模板。2) 问题生成：利用提取的模板生成初始问题。3) LLM复述：使用LLM对生成的问题进行复述和扩展，生成多样化的TMWP样本。4) 推理标注：为每个生成的TMWP样本添加详细的推理步骤，帮助LLM更好地理解问题和解决方案。

关键创新：该论文的关键创新在于将模板驱动和LLM复述相结合，用于TMWP的自动生成。与完全依赖模板或完全依赖LLM的方法相比，TeLL框架能够在正确性和多样性之间取得更好的平衡。此外，论文还强调了推理标注的重要性，并提出了相应的标注方法。

关键设计：在模板提取阶段，论文采用了一种基于规则的方法来识别问题和解决方案中的关键信息，并将其抽象成模板。在LLM复述阶段，论文使用了prompt engineering技术，引导LLM生成符合要求的TMWP样本。在推理标注阶段，论文设计了一套清晰的标注规范，确保标注的一致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了高质量的TabMWP-TeLL数据集，并在多种LLM上进行了实验。实验结果表明，使用TabMWP-TeLL数据集微调后的LLM在TMWP解决性能上取得了显著提升。例如，在Llama-2-7B模型上，TMWP解决准确率提升了超过10个百分点，证明了TeLL框架的有效性。

🎯 应用场景

该研究成果可广泛应用于LLM的数学推理能力评测与提升。通过自动生成大规模高质量的表格数学应用题数据集，可以有效降低LLM微调的成本，并提高其在复杂数学问题上的解决能力。此外，该方法还可以应用于教育领域，为学生提供个性化的数学练习题。

📄 摘要（原文）

Solving tabular math word problems (TMWPs) has become a critical role in evaluating the mathematical reasoning ability of large language models (LLMs), where large-scale TMWP samples are commonly required for LLM fine-tuning. Since the collection of high-quality TMWP datasets is costly and time-consuming, recent research has concentrated on automatic TMWP generation. However, current generated samples usually suffer from issues of either correctness or diversity. In this paper, we propose a Template-driven LLM-paraphrased (TeLL) framework for generating high-quality TMWP samples with diverse backgrounds and accurate tables, questions, answers, and solutions. To this end, we first extract templates from existing real samples to generate initial problems, ensuring correctness. Then, we adopt an LLM to extend templates and paraphrase problems, obtaining diverse TMWP samples. Furthermore, we find the reasoning annotation is important for solving TMWPs. Therefore, we propose to enrich each solution with illustrative reasoning steps. Through the proposed framework, we construct a high-quality dataset TabMWP-TeLL by adhering to the question types in the TabMWP dataset, and we conduct extensive experiments on a variety of LLMs to demonstrate the effectiveness of TabMWP-TeLL in improving TMWP solving performance. The code and data of this paper are available at: https://github.com/Jason8Kang/TELL.