How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective

📄 arXiv: 2504.07898v1 📥 PDF

作者: Qi Liu, Jiaxin Mao, Ji-Rong Wen

分类: cs.IR, cs.CL, cs.LG

发布日期: 2025-04-10

💡 一句话要点

通过机制可解释性分析，揭示大语言模型理解相关性的内在机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 相关性判断 信息检索 机制可解释性 激活修补

📋 核心要点

  1. 现有方法缺乏对LLM如何理解和运用相关性的深入理解，阻碍了其在信息检索任务中的优化。
  2. 该论文通过激活修补技术，分析LLM各模块在相关性判断中的作用，揭示了多阶段渐进式处理过程。
  3. 研究发现LLM在不同层级分别负责信息提取、相关性处理和判断生成，为未来IR任务提供了新思路。

📝 摘要（中文）

最近的研究表明，大型语言模型（LLM）可以评估相关性，并支持诸如文档排序和相关性判断生成等信息检索（IR）任务。然而，现成的LLM理解和操作相关性的内部机制在很大程度上仍未被探索。在本文中，我们通过机制可解释性的视角，系统地研究了不同的LLM模块如何促进相关性判断。利用激活修补技术，我们分析了各种模型组件的作用，并确定了一个多阶段、渐进式的过程，用于生成点式或成对相关性判断。具体来说，LLM首先在早期层中提取查询和文档信息，然后在中间层中根据指令处理相关性信息，最后利用后期层中的特定注意力头以所需的格式生成相关性判断。我们的发现为了解LLM中相关性评估的潜在机制提供了见解，为未来利用LLM进行IR任务的研究提供了有价值的启示。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）如何理解和操作相关性的问题。现有方法缺乏对LLM内部机制的深入理解，使得无法有效利用LLM进行信息检索（IR）任务，例如文档排序和相关性判断生成。现有的黑盒方法难以解释LLM做出相关性判断的原因，限制了模型优化和改进的方向。

核心思路：论文的核心思路是通过机制可解释性（Mechanistic Interpretability）的方法，深入分析LLM的内部结构和运作方式，从而揭示其理解和操作相关性的机制。具体而言，通过激活修补（Activation Patching）技术，干预LLM的中间层激活，观察对输出结果的影响，从而推断不同模块的功能和作用。

技术框架：论文的技术框架主要包括以下几个阶段：1) 数据准备：构建包含查询和文档对的数据集，用于训练和评估LLM的相关性判断能力。2) 模型选择：选择现成的LLM作为研究对象。3) 激活修补：使用激活修补技术，选择性地替换LLM中间层的激活值，观察对输出相关性判断的影响。4) 模块分析：分析不同模块（例如，不同的Transformer层、注意力头）对相关性判断的影响，确定其在信息提取、相关性处理和判断生成中的作用。5) 结果分析：分析激活修补实验的结果，揭示LLM理解和操作相关性的内在机制。

关键创新：论文的关键创新在于将机制可解释性方法应用于研究LLM如何理解相关性。与传统的黑盒方法不同，该论文深入分析了LLM的内部结构，揭示了不同模块在相关性判断中的作用。通过激活修补技术，可以精确地控制和干预LLM的中间层激活，从而推断其功能和作用。

关键设计：论文的关键设计包括：1) 激活修补策略：选择合适的激活修补策略，例如，替换特定层的激活值，或者替换特定注意力头的激活值。2) 评估指标：设计合适的评估指标，用于衡量激活修补对相关性判断的影响。3) 实验设置：精心设计实验设置，例如，选择合适的LLM模型、数据集和超参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过激活修补实验发现，LLM在早期层提取查询和文档信息，在中间层根据指令处理相关性信息，最后在后期层利用特定注意力头生成相关性判断。这些发现揭示了LLM理解相关性的多阶段渐进式过程，为未来利用LLM进行信息检索任务提供了有价值的启示。

🎯 应用场景

该研究成果可应用于提升信息检索系统的性能，例如改进文档排序算法和相关性判断生成。通过理解LLM如何理解相关性，可以更好地利用LLM进行信息检索任务，并开发更智能的搜索引擎和推荐系统。此外，该研究还可以促进对LLM内部机制的理解，为开发更可解释、更可靠的AI系统提供理论基础。

📄 摘要（原文）

Recent studies have shown that large language models (LLMs) can assess relevance and support information retrieval (IR) tasks such as document ranking and relevance judgment generation. However, the internal mechanisms by which off-the-shelf LLMs understand and operationalize relevance remain largely unexplored. In this paper, we systematically investigate how different LLM modules contribute to relevance judgment through the lens of mechanistic interpretability. Using activation patching techniques, we analyze the roles of various model components and identify a multi-stage, progressive process in generating either pointwise or pairwise relevance judgment. Specifically, LLMs first extract query and document information in the early layers, then process relevance information according to instructions in the middle layers, and finally utilize specific attention heads in the later layers to generate relevance judgments in the required format. Our findings provide insights into the mechanisms underlying relevance assessment in LLMs, offering valuable implications for future research on leveraging LLMs for IR tasks.