We Need Knowledge Distillation for Solving Math Word Problems

📄 arXiv: 2507.02982v1 📥 PDF

作者: Zhenquan Shen, Xinguo Yu, Xiaotian Cheng, Rao Peng, Hao Ming

分类: cs.CL

发布日期: 2025-07-01

💡 一句话要点

针对数学应用题，提出知识蒸馏压缩LLM，降低智能教育成本。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 数学应用题 大型语言模型 模型压缩 智能教育

📋 核心要点

  1. 大型语言模型在数学应用题上表现出色，但高昂的计算成本限制了其在教育领域的应用。
  2. 通过知识蒸馏压缩BERT的嵌入向量，构建小型学生模型，降低计算资源需求。
  3. 实验表明，学生模型仅用教师模型1/12的参数，仍能保持近90%的性能，且泛化性良好。

📝 摘要（中文）

大型语言模型(LLM)数学能力的提升促进了中小学数学教育的新发展，尤其是在智能辅导系统方面。然而，LLM需要大量的计算资源，导致教育环境中的成本显著增加。为了缓解这一缺点，本文研究了压缩LLM以解决数学应用题(MWP)的可行性。我们压缩了BERT编码的嵌入向量，并提炼出一个小得多的学生模型。我们的研究结果表明，学生模型可以保持教师模型近90%的性能，同时仅使用其1/12的参数。除了实现高精度外，该模型还表现出很强的泛化能力，因为压缩向量在所有与MWP相关的任务中都表现良好，并且蒸馏过程不是特定于任务的。这种蒸馏的成功表明，其基本原理是通用的，不局限于特定任务。我们进一步探讨了嵌入向量可压缩性的原因，发现词性信息而非实体识别对于MWP至关重要，这可能极大地促进了它们的可压缩性。效率的提高和成本的降低为智能辅导系统提供了巨大的价值，并显著推动了智能教育领域的发展。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在数学应用题（MWP）求解中计算资源需求过高的问题。现有方法依赖于庞大的模型参数，导致部署和运行成本高昂，尤其是在教育等资源受限的场景下，难以广泛应用。

核心思路：论文的核心思路是通过知识蒸馏技术，将大型教师模型（BERT）的知识迁移到小型学生模型中。具体而言，压缩BERT的嵌入向量，并训练一个参数量更小的学生模型，使其在保持较高性能的同时，显著降低计算成本。论文还探讨了嵌入向量可压缩的原因，发现词性信息在MWP中更为重要。

技术框架：整体框架包含两个主要阶段：1) 教师模型（BERT）的嵌入向量压缩：使用某种压缩算法（具体算法未知）对BERT的嵌入向量进行压缩，得到压缩后的向量表示。2) 学生模型训练：利用压缩后的向量表示作为输入，训练一个小型学生模型来解决MWP。学生模型的具体架构未知，但目标是尽可能逼近教师模型的性能。

关键创新：论文的关键创新在于验证了LLM在MWP任务中嵌入向量的可压缩性，并揭示了词性信息在MWP中的重要性。这为降低LLM在教育领域的应用成本提供了新的思路。此外，该方法具有较强的泛化能力，可以应用于多种MWP任务，且蒸馏过程与具体任务无关。

关键设计：论文的关键设计包括：1) 嵌入向量的压缩算法（具体算法未知）。2) 学生模型的架构设计（具体架构未知，但需要保证模型足够小，同时具备较强的学习能力）。3) 知识蒸馏的损失函数设计（具体损失函数未知，但需要引导学生模型学习教师模型的知识）。4) 实验中使用的MWP数据集和评估指标（具体数据集和评估指标未知）。

📊 实验亮点

实验结果表明，通过知识蒸馏压缩后的学生模型，仅使用教师模型1/12的参数，仍能保持教师模型近90%的性能。这表明LLM在MWP任务中具有很高的可压缩性。此外，该方法具有良好的泛化能力，在不同的MWP任务上均表现良好，证明了其通用性。

🎯 应用场景

该研究成果可应用于智能辅导系统，降低部署和运行成本，使更多学生能够享受到个性化的学习体验。此外，该方法还可以推广到其他自然语言处理任务，为构建低成本、高性能的AI应用提供借鉴。未来，可以进一步探索更高效的压缩算法和更优的学生模型架构，以实现更高的压缩率和更好的性能。

📄 摘要（原文）

The enhancement of mathematical capabilities in large language models (LLMs) fosters new developments in mathematics education within primary and secondary schools, particularly as they relate to intelligent tutoring systems. However, LLMs require substantial computational resources, resulting in significant costs in educational contexts. To mitigate this drawback, this paper investigates the feasibility of compressing LLMs for solving math word problems (MWPs). We compress the embedded vectors encoded by BERT and distill a considerably smaller student model. Our findings indicate that the student model can maintain nearly 90% of the performance of the teacher model while utilizing only 1/12 of its parameters. In addition to achieving high accuracy, the model exhibits strong generalizability, as the compressed vectors perform well across all tasks related to MWPs, and the distillation process is not task-specific. The success of this distillation demonstrates that the underlying principles are generic and not limited to a specific task. We further explore the reasons behind the compressibility of embedded vectors, revealing that part-of-speech information, rather than entity recognition, is crucial for MWPs, which may significantly contribute to their compressibility. The improvements in efficiency and cost reduction provide substantial value for intelligent tutoring systems and significantly advance the field of intelligent education.