Exploring Task Performance with Interpretable Models via Sparse Auto-Encoders

📄 arXiv: 2507.06427v1 📥 PDF

作者: Shun Wang, Tyler Loakman, Youbo Lei, Yi Liu, Bohao Yang, Yuting Zhao, Dong Yang, Chenghua Lin

分类: cs.CL, cs.LG

发布日期: 2025-07-08

💡 一句话要点

利用稀疏自编码器提升LLM可解释性与下游任务性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可解释性 稀疏自编码器 字典学习 单义特征 提示工程 下游任务

📋 核心要点

  1. 大型语言模型的可解释性差，如同黑盒，限制了人们对其内部机制的理解和信任，阻碍了性能提升。
  2. 利用稀疏自编码器进行字典学习，从LLM神经元中提取单义特征，揭示模型内部的潜在误解。
  3. 通过自动重构提示并添加注释，改善LLM的理解，并在数学推理和隐喻检测等任务上取得显著的性能提升。

📝 摘要（中文）

大型语言模型（LLM）通常被视为黑盒算法，这降低了其可信度，并模糊了提高下游任务性能的潜在方法。本文采用一种有效的LLM分解方法，使用基于稀疏自编码器的字典学习方法。这有助于从多义LLM神经元中提取单义特征。值得注意的是，我们的工作识别了模型内部的误解，从而能够自动地通过额外的注释重新构建提示，以改善LLM的解释。此外，该方法在数学推理和隐喻检测等下游任务中表现出显著的性能提升。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）可解释性差的问题。现有方法难以理解LLM内部的运作机制，导致无法有效地诊断和解决模型在特定任务上的不足，从而限制了LLM在下游任务中的性能提升。

核心思路：论文的核心思路是利用稀疏自编码器从LLM的神经元中提取单义特征。通过将LLM的复杂表示分解为更易于理解的单义成分，可以更好地理解模型内部的知识表示和推理过程，从而发现模型可能存在的误解。

技术框架：该方法主要包含以下几个阶段：1) 利用稀疏自编码器对LLM的神经元激活进行编码，学习一个稀疏的特征字典。2) 使用学习到的字典将LLM的神经元激活分解为单义特征的线性组合。3) 分析这些单义特征，识别模型内部的误解。4) 基于识别出的误解，自动重构提示，并添加额外的注释，以改善LLM的理解。5) 在下游任务上评估重构后的提示对LLM性能的影响。

关键创新：该方法最重要的技术创新点在于利用稀疏自编码器进行字典学习，从而从多义的LLM神经元中提取单义特征。与传统的黑盒方法不同，该方法能够揭示LLM内部的知识表示和推理过程，从而为提高LLM的可解释性和性能提供了新的途径。

关键设计：稀疏自编码器的关键设计包括：1) 稀疏性约束：通过L1正则化或其他稀疏性约束，鼓励自编码器学习稀疏的特征表示。2) 字典大小：字典的大小需要根据LLM的规模和任务的复杂性进行调整。3) 提示重构策略：根据识别出的模型误解，设计有效的提示重构策略，例如添加额外的上下文信息或明确的指令。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该方法在数学推理和隐喻检测等下游任务中取得了显著的性能提升。通过自动重构提示并添加注释，该方法能够有效地改善LLM的理解，并在某些任务上将性能提升超过10%。这些结果表明，该方法具有很强的实用价值和应用前景。

🎯 应用场景

该研究成果可应用于提升大型语言模型在各种下游任务中的性能，尤其是在需要精确推理和理解的任务中，如数学问题求解、自然语言推理、代码生成等。通过提高模型的可解释性，可以增强用户对模型的信任，并促进LLM在安全关键领域的应用，例如医疗诊断和金融风险评估。

📄 摘要（原文）

Large Language Models (LLMs) are traditionally viewed as black-box algorithms, therefore reducing trustworthiness and obscuring potential approaches to increasing performance on downstream tasks. In this work, we apply an effective LLM decomposition method using a dictionary-learning approach with sparse autoencoders. This helps extract monosemantic features from polysemantic LLM neurons. Remarkably, our work identifies model-internal misunderstanding, allowing the automatic reformulation of the prompts with additional annotations to improve the interpretation by LLMs. Moreover, this approach demonstrates a significant performance improvement in downstream tasks, such as mathematical reasoning and metaphor detection.