Revealing Algorithmic Deductive Circuits for Logical Reasoning
作者: Phuong Minh Nguyen, Tien Huu Dang, Naoya Inoue
分类: cs.AI, cs.CL
发布日期: 2026-05-27
💡 一句话要点
揭示LLM逻辑推理的算法演绎回路，定位关键注意力头
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 逻辑推理 注意力机制 因果中介分析 思维链 可解释性 知识推理
📋 核心要点
- 现有LLM推理研究缺乏对模型如何理解抽象推理步骤和算法的深入理解，限制了模型的可解释性和优化。
- 该论文通过符号辅助的CoT提示和因果中介分析，定位负责特定推理步骤和信息传递的注意力头。
- 研究发现LLM使用少量注意力头检索事实和规则，而高层注意力头负责信息整合和全局推理策略的形成。
📝 摘要（中文）
最近的研究表明，大型语言模型（LLM）可以通过结合功能性符号表示来获得强大的推理性能，这些表示抽象地描述了图遍历算法和逐步推理，尤其是在少样本学习设置中。然而，LLM如何在仅有少量演示的情况下真正理解每个推理步骤和整个算法的抽象含义仍然不清楚。本研究旨在定位负责各个推理步骤的注意力头，并描述它们之间传递的信息类型。我们首先在符号辅助的思维链（CoT）提示框架下，将组成推理步骤与其对应的token logits对齐。我们的分析表明，引导推理过程的token位置与低置信度分数相关，这是由于演示中满足推理行为模式的约束所致。然后，我们采用因果中介分析技术来识别负责这些模式的注意力头。此外，我们的研究结果表明，LLM通过专门的注意力头（约占总头的3%）检索用于各个子推理任务的事实和基于规则的信息，而较高层主要促进信息整合和全局推理策略（例如，图遍历算法）的出现，这些策略协调多个中间推理步骤以解决整体任务。
🔬 方法详解
问题定义：该论文旨在解决大型语言模型（LLM）在逻辑推理过程中，如何理解和执行抽象推理步骤的问题。现有方法缺乏对LLM内部推理机制的深入理解，特别是模型如何从少量示例中学习并泛化到新的推理任务。因此，理解LLM如何进行逐步推理，以及哪些模块负责不同的推理步骤至关重要。
核心思路：论文的核心思路是通过将LLM的推理过程分解为一系列符号化的步骤，并使用因果中介分析来识别负责这些步骤的注意力头。通过分析注意力头之间的信息传递，可以揭示LLM如何构建全局推理策略。这种方法旨在将LLM的“黑盒”推理过程转化为更可解释和可控的“白盒”模型。
技术框架：该研究的技术框架主要包括以下几个阶段：1) 使用符号辅助的CoT提示框架，将推理任务分解为一系列符号化的步骤。2) 将这些步骤与LLM生成的token logits对齐，以确定引导推理过程的关键token位置。3) 使用因果中介分析技术，识别负责这些关键token位置的注意力头。4) 分析不同层级的注意力头的功能，例如，低层注意力头负责检索事实和规则，而高层注意力头负责信息整合和全局推理策略的形成。
关键创新：该论文的关键创新在于使用因果中介分析来识别LLM中负责特定推理步骤的注意力头。与以往的研究不同，该方法不仅关注LLM的整体性能，还深入研究了其内部的推理机制。通过定位负责不同推理步骤的注意力头，可以更好地理解LLM如何构建全局推理策略，并为模型优化提供指导。
关键设计：论文的关键设计包括：1) 使用符号辅助的CoT提示框架，确保推理过程的每一步都与明确的符号表示相关联。2) 使用token logits对齐技术，将推理步骤与LLM生成的token序列对齐，以确定关键token位置。3) 使用因果中介分析技术，量化注意力头对关键token位置的影响，从而识别负责这些位置的注意力头。研究发现大约3%的注意力头负责检索事实和规则。
🖼️ 关键图片
📊 实验亮点
研究发现，LLM中约3%的注意力头负责检索事实和规则，而高层注意力头主要负责信息整合和全局推理策略的形成。通过因果中介分析，成功定位了负责特定推理步骤的注意力头，并揭示了它们之间的信息传递模式。这些发现为理解LLM的内部推理机制提供了新的视角。
🎯 应用场景
该研究成果可应用于提升LLM的可解释性和可控性，例如，通过干预关键注意力头来纠正推理错误或引导模型生成更合理的推理路径。此外，该研究还可以用于开发更高效的LLM推理算法，例如，通过剪枝不重要的注意力头来减少计算量。潜在的应用领域包括智能问答、知识图谱推理和自动化决策等。
📄 摘要（原文）
Recent studies have shown that Large Language Models (LLMs) can achieve strong reasoning performance by incorporating functional symbolic representations that abstractly describe graph traversal algorithms and step-by-step reasoning in few-shot learning settings. However, it remains unclear how LLMs genuinely understand the abstract meaning of each reasoning step and the overall algorithm from only a limited number of demonstrations. This work aims to localize the attention heads responsible for individual reasoning steps and characterize the types of information transferred among them. We first align constituent reasoning steps with their corresponding token logits under a symbolic-aided Chain-of-Thought (CoT) prompting framework. Our analysis shows that token positions that steer the reasoning process are associated with low confidence scores caused by constraints on satisfying reasoning behavior patterns in demonstrations. We then adopt causal mediation analysis techniques to identify the attention heads responsible for these patterns. In addition, our findings indicate that LLMs retrieve factual and rule-based information for individual sub-reasoning tasks through specialized attention heads (approximately 3% total heads), whereas higher layers predominantly facilitate information integration and the emergence of global reasoning strategies (e.g., graph traversal algorithms) that coordinate multiple intermediate reasoning steps to solve the overall task.