Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space

📄 arXiv: 2609.37731v1 📥 PDF

作者: Tue M. Cao, Lisiane Pruinelli, My T. Thai

分类: cs.LG

发布日期: 2026-09-29

备注: preprint

💡 一句话要点

提出激活支持的参数分解方法以提升模型可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 参数分解 激活空间 大型语言模型 语义变换 模型机制 因果编辑

📋 核心要点

  1. 现有可解释性方法主要分别研究激活空间和参数空间，未能有效连接信息表示与参数计算，导致理解模型的能力不足。
  2. 本文提出激活支持的参数分解（ASPD），通过联合分解激活和参数空间，将权重组件与激活特征相结合，从而提升模型的可解释性。
  3. 在Qwen-3-8B模型上，ASPD展示了可扩展性和可解释性，能够恢复经典IOI电路的机制，并追踪模型权重中的语义变换。

📝 摘要（中文）

激活空间和参数空间为模型计算提供了互补视角。激活表示信息，而权重则读取、转换和写入这些信息。现有的可解释性方法主要分别研究这两个空间，导致信息表示与参数级计算之间的联系未得到充分探索。本文提出了激活支持的参数分解（ASPD），该方法联合分解激活和参数空间，并将每个学习到的权重组件与其读取或写入的激活特征相结合。这种结合利用模型内部激活约束了非唯一的参数分解，同时内部重构目标为被分析的权重矩阵提供了局部学习信号。通过这些特性，ASPD在预训练的大型语言模型中实现了可扩展、可解释和可因果编辑的参数分解，具体在Qwen-3-8B模型上进行了验证。学习到的读写组件还可以组合成参数级机制电路。

🔬 方法详解

问题定义：本文旨在解决现有可解释性方法未能有效连接激活空间与参数空间的问题，导致模型内部机制的理解不足。

核心思路：提出激活支持的参数分解（ASPD），通过将激活特征与权重组件相结合，提供更清晰的参数分解视角，从而增强模型的可解释性和可编辑性。

技术框架：ASPD的整体架构包括激活和参数空间的联合分解，利用模型内部激活进行约束，并通过内部重构目标提供局部学习信号。主要模块包括激活特征提取、权重分解和重构目标计算。

关键创新：ASPD的核心创新在于将激活特征与权重组件的结合，形成了一种新的参数分解方式，与传统方法相比，能够提供更具因果性的解释。

关键设计：在设计中，采用了特定的损失函数以优化重构目标，并在权重矩阵分析中引入了局部学习信号，确保分解的有效性和可解释性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen-3-8B模型上，ASPD方法实现了显著的可解释性提升，成功恢复了经典IOI电路的机制，并有效追踪了模型权重中的语义变换，展示了其在大型语言模型中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要模型可解释性的场景。通过提升模型的可解释性，研究者和开发者能够更好地理解和优化模型性能，推动AI系统在实际应用中的透明性和可靠性。

📄 摘要（原文）

Activation space and parameter space provide complementary views of model computation. Activations represent information, while weights read, transform, and write that information. Yet existing interpretability methods largely study the two spaces separately, leaving the connection between represented information and parameter-level computation underexplored. We introduce Activation-Supported Parameter Decomposition (ASPD), which jointly decomposes activation and parameter spaces and grounds each learned weight component in the activation features it reads or writes. This grounding constrains otherwise non-unique parameter decompositions using the model's internal activations, while an internal reconstruction objective provides a local learning signal at the weight matrix being analyzed. Together, these properties enable scalable, interpretable, and causally editable parameter decomposition in pretrained large language models, demonstrated on Qwen-3-8B. The learned read--write components can also be composed into parameter-level mechanism circuits. We use ASPD to recover mechanisms underlying the classic IOI circuit and trace semantic transformations through model weights.