Explainable Mapper: Charting LLM Embedding Spaces Using Perturbation-Based Explanation and Verification Agents

📄 arXiv: 2507.18607v1 📥 PDF

作者: Xinyuan Yan, Rita Sevastjanova, Sinie van der Ben, Mennatallah El-Assady, Bei Wang

分类: cs.CG, cs.LG

发布日期: 2025-07-24

💡 一句话要点

Explainable Mapper：利用扰动解释与验证Agent探索LLM嵌入空间

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM嵌入空间 Mapper图 可解释性 扰动分析 LLM Agent

📋 核心要点

  1. 现有方法难以高效探索LLM高维嵌入空间，人工标注语言属性耗时费力。
  2. 提出Explainable Mapper框架，利用基于扰动的LLM Agent半自动地注释嵌入属性。
  3. 通过案例研究验证框架有效性，复现了BERT嵌入属性的研究结果，并发现了新的语言属性。

📝 摘要（中文）

大型语言模型（LLM）生成的高维嵌入能够捕捉词、句子和概念之间丰富的语义和句法关系。通过Mapper图研究LLM嵌入空间的拓扑结构，有助于理解其内在结构。Mapper图概括了嵌入空间的拓扑结构，其中每个节点代表一个拓扑邻域（包含一个嵌入簇），如果两个节点对应的邻域重叠，则它们之间存在一条边。然而，手动探索这些嵌入空间以揭示编码的语言属性需要大量的人力。为了解决这个问题，我们引入了一个框架，用于半自动地注释这些嵌入属性。为了组织探索过程，我们首先定义了Mapper图中可探索元素的分类，例如节点、边、路径、组件和轨迹。这些元素的注释通过两种类型的、可定制的、基于LLM的Agent执行，这些Agent采用扰动技术进行可扩展和自动化的分析。这些Agent有助于探索和解释Mapper元素的特征，并验证生成的解释的鲁棒性。我们在一个可视化分析工作区中实例化该框架，并通过案例研究证明了其有效性。特别地，我们复制了先前研究中关于BERT在其架构的各个层中嵌入属性的发现，并进一步观察了拓扑邻域的语言属性。

🔬 方法详解

问题定义：论文旨在解决人工探索LLM高维嵌入空间以理解其编码的语言属性时效率低下的问题。现有的方法需要大量的人工干预，难以规模化地分析LLM嵌入空间。

核心思路：核心思路是利用基于扰动的LLM Agent来自动化地探索和解释Mapper图中的各种元素（节点、边、路径等），并验证解释的鲁棒性。通过半自动化的方式，减少人工标注的工作量，提高探索效率。

技术框架：该框架包含以下主要模块： 1. Mapper图构建：使用Mapper算法将LLM嵌入空间转换为拓扑图，其中节点代表嵌入簇，边代表簇之间的重叠。 2. 可探索元素定义：定义Mapper图中需要探索的元素类型，如节点、边、路径、组件和轨迹。 3. LLM Agent：设计两种类型的LLM Agent，分别用于解释Mapper元素的特征和验证解释的鲁棒性。这些Agent使用扰动技术来生成不同的输入，并观察输出的变化。 4. 可视化分析工作区：提供一个交互式的可视化界面，方便用户探索和分析Mapper图，并与LLM Agent进行交互。

关键创新：关键创新在于利用基于扰动的LLM Agent来自动化地解释和验证LLM嵌入空间的拓扑结构。与传统的手动探索方法相比，该方法具有更高的效率和可扩展性。此外，该框架还提供了一个统一的平台，用于探索Mapper图中的各种元素。

关键设计： * 扰动技术：Agent使用扰动技术来生成不同的输入，例如替换、删除或插入词语，以观察输出的变化，从而推断Mapper元素的特征。 * Agent类型：设计两种类型的Agent，分别用于解释和验证。解释Agent负责生成对Mapper元素的解释，验证Agent负责评估解释的鲁棒性。 * 可定制性：Agent的行为可以通过调整参数进行定制，以适应不同的探索需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过案例研究验证了Explainable Mapper框架的有效性。研究者复现了先前研究中关于BERT在其架构的各个层中嵌入属性的发现，并进一步观察了拓扑邻域的语言属性。这些结果表明，该框架能够有效地揭示LLM嵌入空间中的隐藏信息。

🎯 应用场景

该研究成果可应用于理解和解释大型语言模型的内部工作机制，例如分析LLM如何表示不同的概念、关系和语言现象。此外，该框架还可以用于评估LLM的偏见和鲁棒性，并指导LLM的改进和优化。在教育领域，可以帮助学生理解LLM的原理。

📄 摘要（原文）

Large language models (LLMs) produce high-dimensional embeddings that capture rich semantic and syntactic relationships between words, sentences, and concepts. Investigating the topological structures of LLM embedding spaces via mapper graphs enables us to understand their underlying structures. Specifically, a mapper graph summarizes the topological structure of the embedding space, where each node represents a topological neighborhood (containing a cluster of embeddings), and an edge connects two nodes if their corresponding neighborhoods overlap. However, manually exploring these embedding spaces to uncover encoded linguistic properties requires considerable human effort. To address this challenge, we introduce a framework for semi-automatic annotation of these embedding properties. To organize the exploration process, we first define a taxonomy of explorable elements within a mapper graph such as nodes, edges, paths, components, and trajectories. The annotation of these elements is executed through two types of customizable LLM-based agents that employ perturbation techniques for scalable and automated analysis. These agents help to explore and explain the characteristics of mapper elements and verify the robustness of the generated explanations. We instantiate the framework within a visual analytics workspace and demonstrate its effectiveness through case studies. In particular, we replicate findings from prior research on BERT's embedding properties across various layers of its architecture and provide further observations into the linguistic properties of topological neighborhoods.