TaxoSAE: Rethinking Sparse Autoencoders through Taxonomic Logic

📄 arXiv: 2610.31894v1 📥 PDF

作者: Xinyu Guo, Minglai Yang, Clayton T. Morrison, Eduardo Blanco, Mihai Surdeanu

分类: cs.CL

发布日期: 2026-10-22

💡 一句话要点

提出TaxoSAE以解决稀疏自编码器的知识组织问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏自编码器 知识表示 分类对齐 自然语言处理 智能问答系统

📋 核心要点

  1. 现有的稀疏自编码器未能有效处理知识的分类结构，导致读取和控制的准确性不足。
  2. 本文提出TaxoSAE，通过在特征空间中显式编码分类信息，增强了对知识的读取和控制能力。
  3. 在两个事实问答任务中，TaxoSAE在读取准确性和控制精度上分别提升了31.3和25.5个百分点。

📝 摘要（中文）

近年来，稀疏自编码器（SAEs）将大型语言模型（LLMs）的表示分解为可解释的特征，从而实现对编码知识的精确读取和控制。然而，现有的SAEs将每个特征视为独立单元，无法保证知识的分类一致性。为此，本文提出TaxoSAE，明确地将基于is-a（上位词-下位词）关系的分类信息编码到SAE特征空间中。TaxoSAE通过一系列SAE构建分类层次，并引入分类对齐损失，使得每个概念在其下位词激活时也能被激活。实验结果表明，TaxoSAE在两个事实问答分类上显著提升了读取准确性和控制精度。

🔬 方法详解

问题定义：本文旨在解决现有稀疏自编码器在处理知识时未能考虑分类结构的问题，导致读取和控制的准确性不足。

核心思路：TaxoSAE通过在特征空间中引入分类信息，利用is-a关系构建分类层次，使得特征之间的关系更加明确，从而提升知识的读取和控制能力。

技术框架：TaxoSAE的整体架构由多个SAE组成，每个SAE对应分类层次中的一个级别，并通过分类对齐损失进行训练，以确保概念的激活与其下位词一致。

关键创新：最重要的创新在于引入了分类对齐损失，使得每个概念在其下位词激活时也能被激活，从而实现了知识的分类一致性。

关键设计：在模型设计中，采用了多层SAE结构，并设置了分类对齐损失函数，以确保特征激活的分类一致性，同时在训练过程中对超参数进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个事实问答分类任务中，TaxoSAE在读取超概念的准确性上提升了31.3个百分点，在控制精度上提升了25.5个百分点。此外，TaxoSAE还能够通过超概念读取未见概念，准确性提升高达37.9个百分点。

🎯 应用场景

TaxoSAE的研究成果在知识图谱、自然语言处理和智能问答系统等领域具有广泛的应用潜力。通过提升对知识的读取和控制能力，能够更好地支持复杂的推理任务和知识管理，推动智能系统的进一步发展。

📄 摘要（原文）

Recent Sparse Autoencoders (SAEs) decompose the representations of large language models (LLMs) into interpretable features, enabling precise readout and control of encoded knowledge. However, existing SAEs treat each feature as a standalone unit, whereas real-world knowledge is often taxonomically organized. As a result, readout carries no guarantee of taxonomic consistency, and control lacks the granularity to specify the scope of an edit. We propose TaxoSAE, which explicitly encodes taxonomical information, built on is-a (hypernym-hyponym) relations, into the SAE feature space. TaxoSAE mirrors a taxonomy with a stack of SAEs, one per taxonomy level, and introduces a taxonomic alignment loss that trains each concept to be active whenever one of its hyponyms is. On two factual QA taxonomies, one over biographical relations and one over animals, TaxoSAE enables (1) more accurate readout through the taxonomy with concentrated activations, e.g., +31.3 points in reading out the hypernyms of abstract concepts never queried in training; (2) more precise control, with +25.5 points in swap success, while suppressing a concept removes only its own answers (0-2% accuracy vs. 91-100% on other concepts); and, more importantly, (3) readout of unseen concepts through their hypernyms, with up to +37.9 points in hypernym readout accuracy.