Beyond SAEs: Consistent Concept Discovery with Sparse Coding

📄 arXiv: 2610.23801v1 📥 PDF

作者: Jinho Choi, Hyesu Lim, Jaegul Choo, Steffen Schneider

分类: cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出一致稀疏字典学习方法以解决SAE不一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏编码 字典学习 一致性 计算机视觉 自然语言处理 深度学习

📋 核心要点

  1. 现有的稀疏自编码器方法在不同训练运行中学习的字典不一致，导致分析结果的可靠性和可重复性不足。
  2. 本文提出了一致稀疏字典学习（ConSDL），通过每个样本的稀疏编码替代传统的线性编码器，以提高字典学习的稳定性。
  3. 在16个合成实验中，ConSDL实现了几乎完美的字典和系数恢复，并在四个视觉与语言任务中显著提升了一致性。

📝 摘要（中文）

稀疏自编码器（SAEs）通过将激活分解为稀疏组合的学习字典原子来解释基础模型的表示。然而，学习的字典在不同训练运行中可能会有所不同，从而限制了基于SAE分析的可靠性和可重复性。本文提出了一种一致稀疏字典学习方法（ConSDL），用每个样本的稀疏编码替代标准线性编码器。我们的合成分析表明，单个线性编码器传递的系数相较于每个样本优化获得的系数是次优的，表明稀疏编码是一种可靠的字典学习机制。在16个合成设置中，ConSDL实现了近乎完美的字典和系数恢复。这些提升在四个视觉和语言设置中转化为最先进的跨种子一致性，ConSDL在字典和系数一致性上分别提高了17.6%和35.9%。

🔬 方法详解

问题定义：本文旨在解决稀疏自编码器（SAE）在不同训练运行中学习的字典不一致性问题。这种不一致性限制了基于SAE的分析的可靠性和可重复性。

核心思路：论文提出了一致稀疏字典学习（ConSDL），通过对每个样本进行稀疏编码来替代标准的线性编码器。这一设计基于合成分析结果，表明每个样本优化的系数更优于单一线性编码器的输出。

技术框架：ConSDL的整体架构包括数据输入、稀疏编码模块和字典更新模块。首先，输入数据经过稀疏编码模块进行处理，生成每个样本的稀疏表示，然后通过字典更新模块优化字典的学习。

关键创新：ConSDL的主要创新在于采用每个样本的稀疏编码来替代传统的线性编码器，这一方法显著提高了字典和系数的一致性，与现有SAE方法相比，提供了更可靠的字典学习机制。

关键设计：在设计中，ConSDL使用了特定的损失函数来优化稀疏性和重构误差，同时采用了动态更新的字典结构，以适应不同样本的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ConSDL在16个合成设置中实现了近乎完美的字典和系数恢复，并在四个视觉与语言任务中，字典和系数的一致性分别提高了17.6%和35.9%，显著优于六个SAE基线的平均水平。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提高字典学习的一致性，ConSDL可以在各种任务中提供更可靠的特征表示，进而提升模型的性能和可解释性。未来，该方法可能会影响更广泛的机器学习和深度学习应用，促进模型的可重复性和可靠性。

📄 摘要（原文）

Sparse autoencoders (SAEs) explain foundation model representations by decomposing activations into sparse combinations of learned dictionary atoms. However, the learned dictionaries can vary across training runs, limiting the reliability and reproducibility of SAE-based analyses. We propose Consistent Sparse Dictionary Learning (ConSDL), which replaces the standard linear encoder with per-sample sparse coding. This is motivated by our synthetic analysis showing that coefficients from a single linear encoder pass are suboptimal compared with those obtained by per-sample optimization, suggesting that sparse coding is a reliable mechanism for dictionary learning. Across 16 synthetic settings, ConSDL achieves near-perfect dictionary and coefficient recovery. These gains translate to state-of-the-art cross-seed consistency across four vision and language settings, where ConSDL improves dictionary and coefficient consistency by 17.6% and 35.9%, respectively, over the average of six SAE baselines.