How Numerical Precision Affects Arithmetical Reasoning Capabilities of LLMs

📄 arXiv: 2410.13857v2 📥 PDF

作者: Guhao Feng, Kai Yang, Yuntian Gu, Xinyue Ai, Shengjie Luo, Jiacheng Sun, Di He, Zhenguo Li, Liwei Wang

分类: cs.LG, cs.AI, cs.CL, stat.ML

发布日期: 2024-10-17 (更新: 2025-06-21)

备注: 40 pages, 4 figures, ACL 2025 Findings

💡 一句话要点

研究表明数值精度显著影响LLM的算术推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 算术推理 数值精度 Transformer 数学能力

📋 核心要点

  1. 现有LLM在数学能力方面仍存在挑战，尤其是在算术推理方面，需要进一步理解和提升。
  2. 该研究着重分析数值精度对LLM算术能力的影响，并从理论上证明了低精度带来的限制。
  3. 实验结果验证了理论分析，表明提高数值精度可以显著提升LLM在算术任务中的表现。

📝 摘要（中文）

本文深入研究了基于Transformer的大语言模型(LLM)的数学能力，尤其关注其算术性能。研究结果表明，数值精度是影响LLM在算术任务中有效性的关键因素。理论分析表明，在低数值精度下运行的Transformer无法有效处理迭代加法和整数乘法等算术任务，除非模型大小相对于输入长度呈超多项式增长。相比之下，具有标准数值精度的Transformer能够以更小的模型尺寸高效地处理这些任务。通过实验验证了不同数值精度对算术任务的影响，为提高LLM的数学推理能力提供了有价值的见解。

🔬 方法详解

问题定义：论文旨在解决LLM在算术推理任务中表现不佳的问题，特别是当模型使用较低数值精度时。现有方法缺乏对数值精度影响的深入理解，导致模型在执行基本算术运算时效率低下甚至失败。

核心思路：论文的核心思路是将数值精度视为影响LLM算术能力的关键因素，并通过理论分析和实验验证来揭示其影响。研究表明，低精度会导致模型需要更大的规模才能完成算术任务，而高精度则可以显著提高效率。

技术框架：论文采用了一种混合方法，包括理论分析和实证实验。理论分析部分推导了在不同数值精度下，Transformer模型完成特定算术任务所需的最小模型规模。实证实验部分则通过控制数值精度，观察模型在算术任务上的表现。

关键创新：该研究最重要的创新在于将数值精度与LLM的算术能力联系起来，并提供了理论上的证明。以往的研究较少关注数值精度这一因素，而该研究表明，数值精度是影响LLM算术能力的重要瓶颈。

关键设计：论文的关键设计包括：1) 理论分析中，使用了计算复杂度理论来分析模型规模与数值精度之间的关系；2) 实验中，通过改变Transformer模型的数值精度（例如，使用float16或bfloat16），并测试其在迭代加法和整数乘法等任务上的表现；3) 实验中，设计了控制变量，确保除了数值精度之外，其他因素保持不变，从而可以准确评估数值精度的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在低数值精度下，LLM需要超多项式级别的模型规模才能完成算术任务，而在标准数值精度下，模型规模可以显著减小。例如，在迭代加法任务中，使用float16精度的模型需要更大的规模才能达到与使用float32精度模型相同的性能。

🎯 应用场景

该研究成果可应用于提升LLM在金融计算、科学计算等领域的性能。通过优化LLM的数值精度，可以在保证计算准确性的前提下，降低模型规模和计算成本。此外，该研究也为设计更高效的数学推理模型提供了新的思路。

📄 摘要（原文）

Despite the remarkable success of Transformer-based large language models (LLMs) across various domains, understanding and enhancing their mathematical capabilities remains a significant challenge. In this paper, we conduct a rigorous theoretical analysis of LLMs' mathematical abilities, with a specific focus on their arithmetic performances. We identify numerical precision as a key factor that influences their effectiveness in arithmetical tasks. Our results show that Transformers operating with low numerical precision fail to address arithmetic tasks, such as iterated addition and integer multiplication, unless the model size grows super-polynomially with respect to the input length. In contrast, Transformers with standard numerical precision can efficiently handle these tasks with significantly smaller model sizes. We further support our theoretical findings through empirical experiments that explore the impact of varying numerical precision on arithmetic tasks, providing valuable insights for improving the mathematical reasoning capabilities of LLMs.