TSCMamba: Mamba Meets Multi-View Learning for Time Series Classification
作者: Md Atik Ahamed, Qiang Cheng
分类: cs.LG
发布日期: 2024-06-06 (更新: 2025-03-17)
💡 一句话要点
TSCMamba：结合多视角学习与Mamba的多元时间序列分类方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 时间序列分类 多视角学习 Mamba模型 状态空间模型 平移等变性 反演不变性 连续小波变换
📋 核心要点
- 现有时间序列分类方法忽略了时间序列的平移等变性和反演不变性等重要属性，限制了模型的泛化能力。
- 论文提出一种多视角学习方法，融合频谱、时间、局部和全局特征，并设计新的Mamba扫描方案，以捕获时间序列的内在属性。
- 实验结果表明，该方法在多个基准数据集上显著优于现有领先的时间序列分类模型，平均准确率提升显著。
📝 摘要（中文）
多元时间序列分类(TSC)在医疗健康和金融等领域至关重要。现有TSC方法在很大程度上忽略了时间序列的重要属性，如平移等变性和反演不变性。为了填补这一空白，我们提出了一种新的多视角方法，以捕获具有平移等变性等属性的模式。我们的方法集成了包括频谱、时间、局部和全局特征在内的多种特征，为TSC提供丰富的互补上下文。我们使用连续小波变换来捕获时频特征，即使输入在时间上发生偏移，这些特征也保持一致。这些特征与时间卷积或多层感知器特征融合，以提供复杂的局部和全局上下文信息。我们利用Mamba状态空间模型进行高效且可扩展的序列建模，并捕获时间序列中的长程依赖关系。此外，我们为Mamba引入了一种新的扫描方案，称为tango扫描，以有效地建模序列关系并利用反演不变性，从而增强我们模型的泛化性和鲁棒性。在两组基准数据集（10+20个数据集）上的实验表明了我们方法的有效性，与TimesNet和TSLANet等领先的TSC模型相比，平均准确率分别提高了4.01-6.45%和7.93%。
🔬 方法详解
问题定义：论文旨在解决多元时间序列分类（TSC）问题。现有方法未能充分利用时间序列的平移等变性和反演不变性等固有属性，导致模型在面对时间偏移或反转的数据时表现不佳。
核心思路：论文的核心思路是通过多视角学习来提取时间序列的多种互补特征，并利用改进的Mamba模型来捕获长程依赖关系和利用时间序列的内在属性。通过融合不同视角的特征，模型能够更全面地理解时间序列数据。
技术框架：该方法主要包含以下几个模块：1) 特征提取模块：使用连续小波变换（CWT）提取时频特征，并结合时间卷积网络（TCN）或多层感知机（MLP）提取局部和全局时间特征。2) 特征融合模块：将提取的多种特征进行融合，形成统一的特征表示。3) Mamba建模模块：使用Mamba状态空间模型对融合后的特征进行序列建模，捕获长程依赖关系。4) Tango扫描模块：引入新的Tango扫描方案，增强模型对序列关系的建模能力，并利用反演不变性。
关键创新：论文的关键创新在于：1) 提出了一种多视角特征融合方法，能够有效提取时间序列的多种互补特征。2) 引入了Tango扫描方案，改进了Mamba模型的扫描方式，使其能够更好地利用时间序列的反演不变性。3) 将Mamba模型应用于时间序列分类任务，并证明了其在处理长程依赖关系方面的优势。
关键设计：在特征提取方面，CWT被用于提取对时间偏移具有鲁棒性的时频特征。Tango扫描方案的具体实现细节（例如扫描方向和顺序）需要根据具体任务进行调整。Mamba模型的参数设置（例如状态维度和选择机制）也需要进行优化，以获得最佳性能。损失函数通常采用交叉熵损失函数，用于衡量模型预测结果与真实标签之间的差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TSCMamba在两组基准数据集（10+20个数据集）上均取得了显著的性能提升，与TimesNet和TSLANet等领先的TSC模型相比，平均准确率分别提高了4.01-6.45%和7.93%。这证明了该方法在时间序列分类任务中的有效性和优越性。
🎯 应用场景
该研究成果可广泛应用于医疗健康、金融、工业制造等领域的时间序列分类任务。例如，在医疗健康领域，可以用于心电图（ECG）或脑电图（EEG）信号的自动诊断；在金融领域，可以用于股票价格趋势预测或欺诈检测；在工业制造领域，可以用于设备故障诊断或质量控制。该方法能够提升时间序列分类的准确性和鲁棒性，具有重要的实际应用价值。
📄 摘要（原文）
Multivariate time series classification (TSC) is critical for various applications in fields such as healthcare and finance. While various approaches for TSC have been explored, important properties of time series, such as shift equivariance and inversion invariance, are largely underexplored by existing works. To fill this gap, we propose a novel multi-view approach to capture patterns with properties like shift equivariance. Our method integrates diverse features, including spectral, temporal, local, and global features, to obtain rich, complementary contexts for TSC. We use continuous wavelet transform to capture time-frequency features that remain consistent even when the input is shifted in time. These features are fused with temporal convolutional or multilayer perceptron features to provide complex local and global contextual information. We utilize the Mamba state space model for efficient and scalable sequence modeling and capturing long-range dependencies in time series. Moreover, we introduce a new scanning scheme for Mamba, called tango scanning, to effectively model sequence relationships and leverage inversion invariance, thereby enhancing our model's generalization and robustness. Experiments on two sets of benchmark datasets (10+20 datasets) demonstrate our approach's effectiveness, achieving average accuracy improvements of 4.01-6.45\% and 7.93\% respectively, over leading TSC models such as TimesNet and TSLANet.