The Rate-Distortion-Polysemanticity Tradeoff in SAEs

📄 arXiv: 2605.14694v1 📥 PDF

作者: Tommaso Mencattini, Francesco Montagna, Francesco Locatello

分类: cs.LG

发布日期: 2026-05-14

💡 一句话要点

提出SAE中的率-失真-多义性权衡，揭示单义性限制对性能的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏自编码器 可解释性 率失真理论 多义性 单义性 表示学习 特征共现

📋 核心要点

  1. 现有稀疏自编码器在追求低失真和高效率的同时，难以保证表征的单义性，限制了其可解释性。
  2. 论文核心思想是研究SAE中的率-失真-多义性权衡，揭示单义性约束对编码率和失真的影响。
  3. 通过理论分析和实验验证，表明SAE的多义性程度与训练数据分布，特别是特征共现概率密切相关。

📝 摘要（中文）

稀疏自编码器(SAEs)虽然可以通过有效利用少量特征来精确重建输入(最小化失真)并降低编码率，但通常难以学习单义性表示(高度可解释性)，这限制了其在机制可解释性方面的应用。本文提出了SAE中的率-失真-多义性权衡，旨在描述学习忠实、高效和可解释的表示之间的这种张力。在玩具模型假设下，理论和实验表明，限制SAE为单义性必然会导致编码率和失真的增加。进一步假设输入观测背后存在一个生成模型，证明了最优SAE的多义性程度取决于训练数据分布，特别是特征共现的概率。最后，通过推导多义性度量在数据生成过程未知时应满足的必要条件，将分析扩展到真实场景，并对大型语言模型上训练的SAE的现有代理指标进行基准测试。总而言之，研究结果表明，多义性是一个数据问题，在架构和优化层面解决时应予以考虑。

🔬 方法详解

问题定义：论文旨在解决稀疏自编码器（SAE）在学习可解释表示时面临的困境。具体来说，SAE通常需要在重建精度（低失真）、编码效率（低编码率）和表征的单义性（高可解释性）之间进行权衡。现有方法往往难以同时满足这三个目标，尤其是在追求单义性时，可能会牺牲重建精度和编码效率。因此，如何理解和缓解这种权衡是本研究要解决的核心问题。

核心思路：论文的核心思路是引入“率-失真-多义性”权衡的概念，将单义性作为SAE学习过程中的一个重要约束或目标。通过理论分析和实验验证，研究单义性约束对编码率和失真的影响，并探讨数据分布对SAE多义性的影响。核心在于理解数据本身的特性如何影响SAE学习到的表征，从而为设计更好的SAE架构和优化算法提供指导。

技术框架：论文的技术框架主要包括以下几个部分：1) 理论分析：在玩具模型假设下，推导率-失真-多义性之间的关系，分析单义性约束对编码率和失真的影响。2) 数据生成模型假设：假设输入观测背后存在一个生成模型，研究数据分布（特别是特征共现概率）对SAE多义性的影响。3) 真实场景分析：推导多义性度量在数据生成过程未知时应满足的必要条件，并对大型语言模型上训练的SAE的现有代理指标进行基准测试。

关键创新：论文的关键创新在于：1) 提出率-失真-多义性权衡的概念，为理解SAE学习可解释表示的困境提供了一个新的视角。2) 理论分析和实验验证了单义性约束对编码率和失真的影响，揭示了单义性与性能之间的trade-off。3) 研究了数据分布对SAE多义性的影响，表明多义性是一个数据问题，需要在设计SAE架构和优化算法时予以考虑。

关键设计：论文的关键设计包括：1) 多义性度量：定义或选择合适的多义性度量指标，用于评估SAE学习到的表征的单义性程度。2) 损失函数设计：可能需要修改SAE的损失函数，以显式地鼓励学习单义性表示，例如，通过添加正则化项来惩罚特征之间的共现。3) 网络结构设计：可能需要设计特定的网络结构，以促进学习单义性表示，例如，通过引入注意力机制或稀疏连接来限制特征之间的交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过理论分析和实验验证，量化了单义性约束对SAE性能的影响。在玩具模型上，实验结果清晰地展示了单义性约束会导致编码率和失真的增加。在真实数据集上，通过对大型语言模型训练的SAE进行基准测试，验证了多义性度量指标的有效性，并揭示了数据分布对SAE多义性的影响。

🎯 应用场景

该研究成果可应用于提升自编码器在自然语言处理、计算机视觉等领域的模型可解释性。通过理解和控制SAE的多义性，可以更好地理解模型的内部运作机制，并为开发更可靠、更易于调试的AI系统奠定基础。此外，该研究还有助于开发更有效的特征选择和表示学习方法。

📄 摘要（原文）

Sparse Autoencoders (SAEs) that can accurately reconstruct their input (minimizing distortion) by making efficient use of few features (minimizing the rate) often fail to learn monosemantic representations (highly interpretable), limiting their usefulness for mechanistic interpretability. In this paper, we characterise this tension in learning faithful, efficient, and interpretable explanations, introducing the Rate-Distortion-Polysemanticity tradeoff in SAEs. Under toy-modeling assumptions, we theoretically and empirically show that restricting the SAE to be monosemantic necessarily comes with an increase in rate and distortion. Assuming a generative model behind the input observations, we further demonstrate that the degree of polysemanticity of optimal SAEs is determined by the training data distribution, especially by the probability of features to co-occur. Finally, we extend the analysis to real-world settings by deriving necessary conditions that a polysemanticity measure should satisfy when the data-generating process is unknown, and we benchmark existing proxy metrics on SAEs trained on Large Language Models. Taken together, our findings show that polysemanticity is a data problem that should be accounted for when addressing it at the architectural and optimization level.