Analysis of Long Range Dependency Understanding in State Space Models

📄 arXiv: 2601.13048v1 📥 PDF

作者: Srividya Ravikumar, Abhinav Anand, Shweta Verma, Mira Mezini

分类: cs.LG, cs.AI

发布日期: 2026-01-19

💡 一句话要点

针对S4D模型，提出首个基于核解释性的长程依赖理解分析方法，应用于源代码漏洞检测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 状态空间模型 长程依赖 核解释性 源代码漏洞检测 模型可解释性

📋 核心要点

  1. 现有状态空间模型（SSM）研究侧重于预测精度，缺乏对模型长程依赖建模能力的可解释性分析。
  2. 该论文提出一种基于核解释性的分析方法，通过时域和频域分析S4D模型，揭示其长程建模能力。
  3. 研究表明，S4D模型的长程建模能力受模型架构影响显著，并能表现出不同的滤波特性，影响模型性能。

📝 摘要（中文）

尽管状态空间模型（SSM）在长序列基准测试中表现出强大的性能，但大多数研究侧重于预测准确性，而非可解释性。本文针对对角化状态空间模型（S4D）进行了首次系统的核可解释性研究，并将其应用于真实世界的任务（源代码中的漏洞检测）。通过对S4D核的时域和频域分析，我们表明S4D的长程建模能力在不同的模型架构下差异显著，从而影响模型性能。例如，我们展示了S4D核可以根据架构表现为低通、带通或高通滤波器。我们分析得到的见解可以指导未来设计更好的基于S4D的模型。

🔬 方法详解

问题定义：现有状态空间模型（SSM）在处理长序列数据时表现出色，但缺乏对其内部机制，特别是长程依赖建模能力的可解释性分析。这使得我们难以理解模型如何捕捉序列中的长期关系，也难以针对特定任务优化模型结构。现有方法主要关注预测精度，忽略了模型的可解释性，限制了模型在实际应用中的可靠性和可信度。

核心思路：本文的核心思路是通过分析S4D模型的核函数，来理解其长程依赖建模能力。具体来说，通过将核函数转换到时域和频域，可以观察模型对不同频率信息的处理方式，从而推断其捕捉长程依赖的机制。不同的模型架构会导致不同的核函数特性，进而影响模型对长程依赖的建模能力。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择对角化状态空间模型（S4D）作为研究对象；2) 在源代码漏洞检测任务上训练S4D模型；3) 分析S4D模型的核函数，包括时域和频域分析；4) 研究不同模型架构下S4D核函数的特性差异；5) 将核函数特性与模型性能关联，从而理解长程依赖建模能力对模型性能的影响。

关键创新：该研究的关键创新在于首次将核解释性方法应用于状态空间模型（S4D），并将其应用于实际的源代码漏洞检测任务。通过时域和频域分析，揭示了S4D模型长程依赖建模能力与模型架构之间的关系。这种方法为理解和优化状态空间模型提供了一种新的视角。

关键设计：该研究的关键设计包括：1) 选择对角化状态空间模型（S4D），因为它具有相对简单的结构，便于进行核函数分析；2) 使用源代码漏洞检测任务，因为它是一个典型的长序列建模问题，可以有效评估模型的长程依赖建模能力；3) 通过时域和频域分析，全面评估S4D核函数的特性；4) 研究不同模型架构（具体架构未知）对S4D核函数特性的影响，从而理解模型架构与长程依赖建模能力之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过实验证明，S4D模型的长程建模能力受模型架构影响显著，并且S4D核可以根据架构表现为低通、带通或高通滤波器。这些发现为设计更好的基于S4D的模型提供了指导，但具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于提升状态空间模型的可解释性和可靠性，尤其是在需要理解模型决策过程的场景中，如金融风险预测、医疗诊断和自然语言处理等。通过理解模型如何捕捉长程依赖，可以更好地设计模型架构，提高模型性能，并增强模型在实际应用中的可信度。

📄 摘要（原文）

Although state-space models (SSMs) have demonstrated strong performance on long-sequence benchmarks, most research has emphasized predictive accuracy rather than interpretability. In this work, we present the first systematic kernel interpretability study of the diagonalized state-space model (S4D) trained on a real-world task (vulnerability detection in source code). Through time and frequency domain analysis of the S4D kernel, we show that the long-range modeling capability of S4D varies significantly under different model architectures, affecting model performance. For instance, we show that the depending on the architecture, S4D kernel can behave as low-pass, band-pass or high-pass filter. The insights from our analysis can guide future work in designing better S4D-based models.