Signatures of semantic search in the activations of large language models
作者: Luke Leckie, Peter M. Todd, Jacob G. Foster
分类: cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出机制可解释性技术以揭示大语言模型的语义搜索特征
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 语义搜索 机制可解释性 激活模式 探索与利用 自然语言处理 概念切换
📋 核心要点
- 现有研究尚未明确大型语言模型在语义搜索中是否具备探索与利用的内部表征，缺乏对其内部状态的深入理解。
- 本文采用雅可比透镜（J-lens）等机制可解释性技术，揭示LLMs在概念切换中的激活模式，探索其内部搜索机制。
- 研究结果表明，LLMs在切换时的激活模式与人类相似，且通过操控激活方向可以有效影响切换频率，验证了探索与利用的概念。
📝 摘要（中文）
在语义流畅性任务中，人类和大型语言模型（LLMs）在回忆概念列表时，会将输出组织成相关项的簇，并在簇之间进行战略性切换。本文通过一系列机制可解释性技术，探讨LLMs是否在内部状态中表现出这种搜索模式。研究表明，概念级激活与切换之间存在预测关系，且在切换前，抽象类别相关标签的激活会增加。此外，研究还识别了在切换期间和预期切换时激活的通用残差流方向，为LLMs在概念信息表达中提供了探索与利用的独特表征特征。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在语义搜索任务中是否具备探索与利用的内部表征，现有方法未能揭示其内部状态的复杂性和动态变化。
核心思路：通过应用雅可比透镜（J-lens）等机制可解释性技术，分析LLMs在概念切换时的激活模式，揭示其内部搜索机制的特征。
技术框架：研究分为两个主要部分：第一部分使用J-lens分析激活与切换的关系，第二部分识别在切换期间激活的通用残差流方向。
关键创新：本文的创新在于将语义觅食框架扩展到人工智能领域，提供了LLMs在表达概念信息时探索与利用的独特表征特征。
关键设计：研究中使用了雅可比透镜来映射中间层残差流表示到标记级激活，并通过导出引导向量来验证激活对切换的因果影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLMs在切换时的激活模式与人类相似，切换概率随着当前类别激活的减少而增加。此外，通过操控激活方向，研究者能够有效地提高或降低切换频率，验证了探索与利用的概念在LLMs中的适用性。
🎯 应用场景
该研究为理解大型语言模型在处理复杂语义任务时的内部机制提供了新视角，具有广泛的应用潜力，包括自然语言处理、智能问答系统和人机交互等领域。未来，相关技术可用于优化模型的生成策略，提高其在特定任务中的表现。
📄 摘要（原文）
When recalling lists of concepts (e.g., animals) during the semantic fluency task (SFT), both humans and large language models (LLMs) organise their output into clusters of related items (e.g., sea animals) that are punctuated by strategic switches between clusters. In humans, this pattern can be explained by a semantic foraging process, whereby distinct neural and behavioural signatures accompany within-cluster production ("exploit") and between-cluster switching ("explore"). Whether LLMs likewise represent these two search regimes within their internal states is unknown. Here, we apply a range of mechanistic interpretability techniques to provide evidence for this. In Study 1, we use the Jacobian lens (J-lens), which maps intermediate-layer residual-stream representations to token-level activations, to show that concept-level activations predict switching. First, we find that switching coincides with low next-token activations. Moreover, the probability of switching rises as the set of strongest J-lens activations (the J-space) becomes depleted of items from the category currently being produced, analogous to explore-exploit decision-making during patch foraging. We then show that middle-layer J-lens activations of abstract category-related labels (e.g., "water") increase in anticipation of switching into that category. We confirm these representations to causally influence switching by deriving steering vectors that target category switching. In Study 2, we identify generic residual stream directions that are activated during and in anticipation of switching. By steering activations along these directions, we bias increased or decreased rates of switching. Our study extends the semantic foraging framework to artificial intelligences and provides evidence that LLMs maintain distinct representational signatures for exploration and exploitation as they verbalise conceptual information.