Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics
作者: Yaniv Nikankin, Anja Reusch, Aaron Mueller, Yonatan Belinkov
分类: cs.CL
发布日期: 2024-10-28 (更新: 2025-05-20)
💡 一句话要点
揭示大语言模型算术能力：并非算法或记忆，而是启发式规则组合
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 算术推理 启发式规则 因果分析 神经元分析
📋 核心要点
- 现有研究未能充分解释大语言模型算术能力的来源，是算法学习还是简单记忆仍不明确。
- 该研究提出大语言模型通过组合简单的启发式规则来解决算术问题，而非学习通用算法。
- 实验结果表明，模型早期训练阶段就依赖启发式规则，且启发式规则组合能有效解释算术准确率。
📝 摘要（中文）
大型语言模型（LLMs）是通过学习鲁棒的、可泛化的算法来解决推理任务，还是仅仅记忆训练数据？为了研究这个问题，我们以算术推理作为代表性任务。通过因果分析，我们识别出模型的一个子集（一个电路），该电路解释了模型在基本算术逻辑方面的大部分行为，并检查其功能。通过深入研究单个电路神经元的层面，我们发现了一组稀疏的重要神经元，它们实现了简单的启发式规则。每个启发式规则识别一个数值输入模式并输出相应的答案。我们假设这些启发式神经元的组合是产生正确算术答案的机制。为了验证这一点，我们将每个神经元分为几种启发式类型——例如，当操作数落在某个范围内时激活的神经元——并发现这些启发式类型的无序组合是解释模型在算术提示上的大部分准确性的机制。最后，我们证明了这种机制在训练早期就表现为算术准确性的主要来源。总的来说，我们在多个LLM上的实验结果表明，LLM执行算术既不使用鲁棒的算法，也不使用记忆；相反，它们依赖于“启发式规则的集合”。
🔬 方法详解
问题定义：现有方法难以区分大型语言模型在解决算术问题时，是依赖于学习到的通用算法，还是仅仅依赖于记忆训练数据。这篇论文旨在探究LLM算术能力的真正来源，并挑战了LLM具备复杂推理能力的普遍认知。现有方法缺乏对模型内部机制的深入理解，难以解释LLM在算术任务上的表现。
核心思路：该论文的核心思路是，LLM并非通过学习鲁棒的算法或简单记忆来解决算术问题，而是依赖于一组简单的、预定义的启发式规则。这些启发式规则能够识别特定的数值模式，并直接输出相应的答案。通过组合这些启发式规则，LLM能够在算术任务上取得一定的准确率。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 使用因果分析识别模型中负责算术逻辑的关键电路；2) 深入分析电路中的单个神经元，识别出实现简单启发式规则的重要神经元；3) 将神经元划分为不同的启发式类型，例如，根据操作数范围激活的神经元；4) 验证这些启发式类型的组合是否能够解释模型在算术任务上的准确率；5) 分析训练早期阶段启发式规则对算术准确率的影响。
关键创新：该论文最重要的技术创新点在于，它揭示了LLM在算术任务上并非依赖于复杂的算法或记忆，而是依赖于一组简单的启发式规则。这种“启发式规则的集合”的观点挑战了LLM具备通用推理能力的传统认知。与现有方法相比，该研究更注重对模型内部机制的深入理解，并通过因果分析和神经元分析来验证其假设。
关键设计：该研究的关键设计包括：1) 使用因果分析来识别模型中的关键电路；2) 设计不同的启发式类型来对神经元进行分类；3) 使用准确率作为评估模型性能的指标；4) 分析训练早期阶段启发式规则对模型性能的影响。具体的参数设置、损失函数和网络结构等技术细节未在摘要中详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
该研究通过实验证明，LLM在算术任务上的准确率主要来源于启发式规则的组合，而非算法或记忆。研究发现，在训练早期阶段，启发式规则就已成为算术准确性的主要来源。具体的性能数据、对比基线和提升幅度等信息未在摘要中详细说明，属于未知信息。
🎯 应用场景
该研究成果可应用于评估和改进大语言模型的推理能力，并帮助我们更好地理解其内部工作机制。通过识别和优化启发式规则，可以提高LLM在特定任务上的性能，并降低其对训练数据的依赖。此外，该研究也为开发更高效、更可靠的AI系统提供了新的思路。
📄 摘要（原文）
Do large language models (LLMs) solve reasoning tasks by learning robust generalizable algorithms, or do they memorize training data? To investigate this question, we use arithmetic reasoning as a representative task. Using causal analysis, we identify a subset of the model (a circuit) that explains most of the model's behavior for basic arithmetic logic and examine its functionality. By zooming in on the level of individual circuit neurons, we discover a sparse set of important neurons that implement simple heuristics. Each heuristic identifies a numerical input pattern and outputs corresponding answers. We hypothesize that the combination of these heuristic neurons is the mechanism used to produce correct arithmetic answers. To test this, we categorize each neuron into several heuristic types-such as neurons that activate when an operand falls within a certain range-and find that the unordered combination of these heuristic types is the mechanism that explains most of the model's accuracy on arithmetic prompts. Finally, we demonstrate that this mechanism appears as the main source of arithmetic accuracy early in training. Overall, our experimental results across several LLMs show that LLMs perform arithmetic using neither robust algorithms nor memorization; rather, they rely on a "bag of heuristics".