When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities

📄 arXiv: 2607.08605v1 📥 PDF

作者: Weiduo Liao, Yunqiao Yang, Ying Wei

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-07-09

💡 一句话要点

提出结构稀疏自编码器以解决视觉语言模型中的概念一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏自编码器 视觉语言模型 多模态学习 概念一致性 结构稀疏性 语义对齐 表示效率

📋 核心要点

  1. 现有的稀疏自编码器在视觉语言模型中难以学习到一致的概念，导致视觉模态中的概念覆盖碎片化。
  2. 本文提出的结构稀疏自编码器（$S^2AE$）通过引入结构稀疏性正则化，增强了概念的一致性和可解释性。
  3. 在实验中，$S^2AE$在语义对齐上平均提升6.06%，在表示效率上提升60.81，同时保持了99%以上的重构保真度。

📝 摘要（中文）

稀疏自编码器（SAEs）作为一种有前景的机制解释技术，通过学习一组稀疏的潜在特征来编码不同的概念。然而，在视觉语言模型（VLMs）中，传统的SAEs难以学习到一致的概念，导致视觉模态中的概念覆盖碎片化。为了解决这一挑战，本文提出了一种结构稀疏自编码器（$S^2AE$），从语义和空间两个角度强制概念一致性。通过基于Transformer注意力相似性和空间邻近性对图像块进行分组，并在训练过程中引入结构稀疏性正则化，驱动潜在神经元专注于独特的、语义上扎根的概念。实验表明，该方法在语义对齐和表示效率上均有显著提升，同时保持了近乎完美的重构保真度。

🔬 方法详解

问题定义：本文旨在解决传统稀疏自编码器在视觉语言模型中学习一致概念的不足，尤其是视觉模态中概念的覆盖碎片化问题。

核心思路：提出结构稀疏自编码器（$S^2AE$），通过对图像块进行分组并引入结构稀疏性正则化，确保概念在语义和空间上的一致性。

技术框架：$S^2AE$的整体架构包括图像块的分组、结构稀疏性正则化的引入，以及潜在神经元的训练过程，确保其专注于独特的概念。

关键创新：最重要的创新点在于通过结构稀疏性正则化实现了概念的解缠结和一致性，区别于传统SAEs的简单稀疏性方法。

关键设计：在训练过程中，采用了针对组间概念解缠结的独占稀疏性和组内概念一致性的组稀疏性正则化，确保潜在神经元能够专注于语义上明确的概念。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

$S^2AE$在实验中表现出色，语义对齐（mIoU）平均提升6.06%，表示效率（l0范数）提升60.81，同时保持了99%以上的重构保真度。此外，跨模态分析显示该方法在语义一致性和单一语义性得分上也有显著提升，分别达到3.08%和2.37%。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、计算机视觉和自然语言处理等。通过增强模型的概念一致性和可解释性，$S^2AE$可以在图像与文本的结合任务中提供更好的性能，推动智能系统在复杂场景下的理解与决策能力。未来，该方法有望在更广泛的多模态应用中发挥重要作用。

📄 摘要（原文）

Sparse autoencoders (SAEs) have emerged as a promising technique for mechanistic interpretability by learning a set of sparse latent features in large models, each of which encodes a distinct concept. However, in vision-language models (VLMs), vanilla SAEs struggle to learn modality-consistent concepts, with concepts often exhibiting fragmented coverage (i.e., disjoint regions) in the visual modality. To address this challenge, we propose a Structured Sparse AutoEncoder ($S^2AE$) that enforces concept consistency from both semantic and spatial perspectives in the visual modality. Specifically, we group image patches based on Transformer attention similarity and spatial proximity, and introduce a structured sparsity regularization when training the vanilla SAE. The regularization consists of exclusive sparsity for inter-group concept disentanglement and group sparsity for intra-group concept consistency, which drives the latent neurons by SAEs to specialize in distinct, semantically grounded concepts. Evaluated on the \texttt{Qwen2.5-VL-7B-Instruct} model, the method achieves 6.06% average improvement in semantic alignment (mIoU) and 60.81 in representational efficiency (lower l0 norm) while maintaining near-perfect reconstruction fidelity with an Explained Variance above 99%. Cross-modal analysis further demonstrates that $S^2AE$ enhances neuronal monosemanticity by this visual structural prior, achieving a 3.08% average gain in semantic consistency and a 2.37% average gain in monosemanticity scores for both modalities of multimodal features, thereby fostering more coherent and disentangled representations.