Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders

📄 arXiv: 2505.05111v2 📥 PDF

作者: Boyi Deng, Yu Wan, Yidan Zhang, Baosong Yang, Fuli Feng

分类: cs.CL

发布日期: 2025-05-08 (更新: 2025-05-27)

备注: ACL 2025 main

🔗 代码/项目: GITHUB

💡 一句话要点

提出稀疏自编码器以揭示大语言模型中的语言特征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏自编码器 大语言模型 多语言能力 特征分析 机器学习

📋 核心要点

  1. 现有的多语言模型分析方法面临叠加和激活方差等挑战，影响了对语言特征的可靠性分析。
  2. 本研究提出使用稀疏自编码器（SAEs）对LLMs的激活进行分解，从而更细致地分析语言特征。
  3. 实验结果表明，消融特定SAE特征显著影响LLMs在某一语言的能力，同时发现语言间特征的协同效应。

📝 摘要（中文）

本研究探讨了大语言模型（LLMs）多语言能力的机制，指出现有基于神经元或内部激活的方法存在叠加和层间激活方差等挑战，影响其可靠性。通过稀疏自编码器（SAEs），我们能够将LLMs的激活分解为稀疏线性组合的特征，并引入了一种新的度量方法来评估特征的单语性。研究发现某些特征与特定语言密切相关，且对这些特征的消融显著降低了LLMs在某一语言的能力，而对其他语言几乎没有影响。此外，某些语言具有多个协同的SAE特征，联合消融时的效果优于单独消融。我们利用这些特征增强了引导向量，实现了对LLMs生成语言的控制。

🔬 方法详解

问题定义：本研究旨在解决现有多语言模型分析方法的可靠性问题，尤其是叠加和激活方差导致的特征分析不准确。

核心思路：通过引入稀疏自编码器（SAEs），将LLMs的激活分解为稀疏线性组合的特征，从而实现对语言特征的更细致分析。

技术框架：整体流程包括数据输入、SAE特征提取、特征单语性评估以及对引导向量的增强。主要模块包括特征提取模块和特征消融模块。

关键创新：本研究的创新点在于提出了一种新的度量方法来评估SAE特征的单语性，并发现特定语言的特征之间存在协同效应，这在现有方法中尚未被充分探讨。

关键设计：在技术细节上，采用了特定的损失函数来优化SAE的稀疏性，并设计了多层网络结构以增强特征提取的能力。

📊 实验亮点

实验结果显示，消融特定SAE特征后，LLMs在某一语言的能力显著下降，其他语言几乎不受影响。此外，联合消融多个特征时，性能提升幅度超过单独消融，验证了特征间的协同效应。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和多语言对话系统等。通过揭示语言特征，能够提升模型在特定语言上的表现，进而推动多语言系统的实用化和智能化发展。

📄 摘要（原文）

The mechanisms behind multilingual capabilities in Large Language Models (LLMs) have been examined using neuron-based or internal-activation-based methods. However, these methods often face challenges such as superposition and layer-wise activation variance, which limit their reliability. Sparse Autoencoders (SAEs) offer a more nuanced analysis by decomposing the activations of LLMs into a sparse linear combination of SAE features. We introduce a novel metric to assess the monolinguality of features obtained from SAEs, discovering that some features are strongly related to specific languages. Additionally, we show that ablating these SAE features only significantly reduces abilities in one language of LLMs, leaving others almost unaffected. Interestingly, we find some languages have multiple synergistic SAE features, and ablating them together yields greater improvement than ablating individually. Moreover, we leverage these SAE-derived language-specific features to enhance steering vectors, achieving control over the language generated by LLMs. The code is publicly available at https://github.com/Aatrox103/multilingual-llm-features.