Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models
作者: Shaotian Yan, Chen Shen, Wenxiao Wang, Liang Xie, Junjie Liu, Jieping Ye
分类: cs.CL, cs.AI
发布日期: 2025-03-14
备注: Accepted by ICLR2025
💡 一句话要点
提出注意力干预方法FAI，增强大语言模型中的思维链推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 思维链推理 注意力机制 注意力干预 上下文学习
📋 核心要点
- 现有CoT方法易受局部噪声干扰，模型过度关注个别token导致推理偏离。
- 提出FAI方法，动态分析注意力模式，识别并抑制干扰推理的token。
- 实验表明，FAI在多个数据集上优于基线方法，AQuA数据集提升显著。
📝 摘要（中文）
少样本思维链（CoT）显著增强了大语言模型的推理能力，它作为一个整体指导模型生成推理步骤以获得最终答案。然而，我们观察到CoT演示中孤立的片段、单词或token会意外地扰乱LLM的生成过程。模型可能过度关注演示中的某些局部信息，从而在推理过程中引入不相关的噪声，并可能导致不正确的答案。在本文中，我们通过动态追踪和操纵LLM在每个输出步骤中的内部运作来研究CoT的潜在机制，结果表明，表现出特定注意力特征的token更有可能诱导模型脱离上下文；这些token直接关注与预测相关的隐藏状态，而没有充分整合非局部信息。基于这些见解，我们提出了一种少样本注意力干预方法（FAI），该方法动态分析演示的注意力模式以准确识别这些token，然后对注意力权重进行有针对性的调整，以有效抑制它们对LLM的干扰。在多个基准数据集上的综合实验表明，FAI相对于基线方法具有持续的改进，在AQuA数据集上实现了显著的5.91%的改进，进一步突出了FAI的有效性。
🔬 方法详解
问题定义：现有的大语言模型在使用思维链（CoT）进行推理时，容易受到演示样例中局部噪声的干扰。模型可能会过度关注某些token，导致推理过程偏离正确的上下文，从而影响最终答案的准确性。现有的方法缺乏对CoT内部机制的深入理解，无法有效地识别和抑制这些干扰token的影响。
核心思路：本文的核心思路是通过动态分析大语言模型在推理过程中的注意力模式，识别出那些容易导致模型“脱离上下文”的token。然后，通过对这些token的注意力权重进行干预，抑制它们对模型推理过程的干扰，从而提高推理的准确性。这种方法的核心在于精准识别干扰token并进行有针对性的干预。
技术框架：FAI方法主要包含以下几个阶段：1) 注意力模式分析：动态追踪和分析LLM在生成CoT过程中的注意力权重，识别出具有特定注意力特征的token。这些token通常表现为直接关注与预测相关的隐藏状态，而缺乏对非局部信息的整合。2) 干扰token识别：基于注意力模式分析的结果，准确识别出那些容易导致模型“脱离上下文”的token。3) 注意力权重调整：对识别出的干扰token的注意力权重进行有针对性的调整，降低它们对模型推理过程的影响。具体来说，通过修改注意力权重，使得模型更多地关注上下文信息，减少对局部噪声的依赖。
关键创新：FAI方法的关键创新在于：1) 动态注意力分析：通过动态分析LLM的注意力模式，深入理解CoT的内部机制，从而能够更准确地识别干扰token。2) 有针对性的注意力干预：针对识别出的干扰token，进行有针对性的注意力权重调整，从而更有效地抑制它们的干扰。与现有方法相比，FAI方法更加精细化，能够更好地适应不同的推理场景。
关键设计：FAI方法的关键设计包括：1) 注意力特征的定义：定义了用于识别干扰token的注意力特征，例如，token对预测相关隐藏状态的关注程度，以及对非局部信息的整合程度。2) 注意力权重调整策略：设计了有效的注意力权重调整策略，例如，通过降低干扰token的注意力权重，或者增加上下文信息的注意力权重，来抑制它们的干扰。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FAI方法在多个基准数据集上取得了显著的改进。例如，在AQuA数据集上，FAI方法相对于基线方法取得了5.91%的性能提升。这些结果表明，FAI方法能够有效地抑制CoT中的干扰token，提高大语言模型的推理能力。
🎯 应用场景
该研究成果可应用于各种需要大语言模型进行复杂推理的场景，例如问答系统、数学问题求解、代码生成等。通过提高推理的准确性和可靠性，可以提升这些应用的用户体验和实际价值。未来，该方法还可以扩展到其他类型的推理任务和模型，具有广阔的应用前景。
📄 摘要（原文）
Few-shot Chain-of-Thought (CoT) significantly enhances the reasoning capabilities of large language models (LLMs), functioning as a whole to guide these models in generating reasoning steps toward final answers. However, we observe that isolated segments, words, or tokens within CoT demonstrations can unexpectedly disrupt the generation process of LLMs. The model may overly concentrate on certain local information present in the demonstration, introducing irrelevant noise into the reasoning process and potentially leading to incorrect answers. In this paper, we investigate the underlying mechanism of CoT through dynamically tracing and manipulating the inner workings of LLMs at each output step, which demonstrates that tokens exhibiting specific attention characteristics are more likely to induce the model to take things out of context; these tokens directly attend to the hidden states tied with prediction, without substantial integration of non-local information. Building upon these insights, we propose a Few-shot Attention Intervention method (FAI) that dynamically analyzes the attention patterns of demonstrations to accurately identify these tokens and subsequently make targeted adjustments to the attention weights to effectively suppress their distracting effect on LLMs. Comprehensive experiments across multiple benchmarks demonstrate consistent improvements over baseline methods, with a remarkable 5.91% improvement on the AQuA dataset, further highlighting the effectiveness of FAI.