dCMF: Learning interpretable evolving patterns from temporal multiway data

📄 arXiv: 2502.19367v1 📥 PDF

作者: Christos Chatzis, Carla Schenker, Jérémy E. Cohen, Evrim Acar

分类: cs.LG, stat.ML

发布日期: 2025-02-26

💡 一句话要点

提出dCMF模型，结合动态系统与张量分解，用于时序多维数据可解释模式学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序数据分析 张量分解 动态系统 耦合矩阵分解 线性动态系统

📋 核心要点

  1. 现有张量分解方法难以有效处理时序多维数据，忽略了时间维度上的序列依赖性，限制了对动态模式的理解。
  2. dCMF模型结合线性动态系统（LDS）和耦合矩阵分解（CMF），通过LDS约束潜在因素的时间演化，从而捕获时序依赖。
  3. 实验表明，dCMF在模式偏离PARAFAC2结构时优于PARAFAC2及其变体，且能通过融入先验知识捕获复杂动态。

📝 摘要（中文）

多维数据集通常使用无监督矩阵和张量分解方法进行分析，以揭示潜在模式。这些数据集通常包含时间戳，例如，随时间收集的受试者健康相关测量数据。时间维度与其他维度本质上不同，需要考虑其内在属性的方法。线性动态系统（LDS）专门用于捕获观测数据中的序列依赖性。本文通过探索LDS、耦合矩阵分解（CMF）和PARAFAC2模型之间的关系，弥合了张量分解和动态建模之间的差距。我们提出了一种时间感知耦合分解模型，称为d(ynamical)CMF，它约束潜在因素的时间演化以符合特定的LDS结构。使用合成数据集，我们将dCMF的性能与PARAFAC2和包含时间平滑性的t(emporal)PARAFAC2进行了比较。结果表明，当捕获符合PARAFAC2结构的平滑演化模式时，dCMF和基于PARAFAC2的方法表现相似。但是，当模式平滑演化但偏离PARAFAC2结构时，dCMF优于其他方法。此外，我们证明了所提出的dCMF方法能够在结合关于时间演化的额外先验信息时捕获更复杂的动态。

🔬 方法详解

问题定义：论文旨在解决时序多维数据分析中，现有张量分解方法无法有效捕捉时间维度上的动态演化模式的问题。传统方法如PARAFAC2虽然能处理时序数据，但缺乏对时间依赖性的显式建模，难以捕捉复杂的时间动态，并且当数据不完全符合PARAFAC2结构时性能下降。

核心思路：论文的核心思路是将线性动态系统（LDS）的动态建模能力融入到耦合矩阵分解（CMF）框架中。通过LDS来约束CMF中潜在因素的时间演化，从而显式地建模时间依赖性，并允许模型捕获更复杂和灵活的时间动态模式。

技术框架：dCMF模型的技术框架主要包括以下几个部分：1) 数据输入：时序多维数据张量；2) 耦合矩阵分解（CMF）：将数据分解为多个潜在因素矩阵，这些矩阵在不同时间点之间存在耦合关系；3) 线性动态系统（LDS）：用于建模潜在因素的时间演化，LDS的状态转移矩阵和观测矩阵控制着潜在因素随时间的动态变化；4) 优化过程：通过最小化重构误差和LDS约束，学习潜在因素矩阵和LDS参数。

关键创新：dCMF的关键创新在于将动态系统建模与张量分解相结合，提出了一种时间感知的耦合分解模型。与传统方法相比，dCMF能够显式地建模时间依赖性，并允许模型捕获更复杂和灵活的时间动态模式。此外，dCMF可以通过融入关于时间演化的额外先验信息来进一步提高模型的性能。

关键设计：dCMF的关键设计包括：1) LDS的状态转移矩阵和观测矩阵的选择，这些矩阵决定了模型能够捕获的时间动态类型；2) 损失函数的设计，损失函数通常包括重构误差项和LDS约束项，用于平衡数据拟合和时间动态建模；3) 优化算法的选择，常用的优化算法包括交替最小二乘法和梯度下降法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在合成数据集上的实验表明，当数据符合PARAFAC2结构时，dCMF与PARAFAC2性能相当。但当数据偏离PARAFAC2结构时，dCMF明显优于PARAFAC2及其变体tPARAFAC2。此外，通过引入关于时间演化的先验信息，dCMF能够捕获更复杂的动态模式，进一步提升性能。

🎯 应用场景

dCMF模型可应用于健康监测、金融分析、环境监测等领域。例如，在健康监测中，可以分析患者随时间变化的生理指标，识别疾病发展模式；在金融分析中，可以分析股票价格、交易量等数据，预测市场趋势；在环境监测中，可以分析污染物浓度、气象数据等，预测环境变化。

📄 摘要（原文）

Multiway datasets are commonly analyzed using unsupervised matrix and tensor factorization methods to reveal underlying patterns. Frequently, such datasets include timestamps and could correspond to, for example, health-related measurements of subjects collected over time. The temporal dimension is inherently different from the other dimensions, requiring methods that account for its intrinsic properties. Linear Dynamical Systems (LDS) are specifically designed to capture sequential dependencies in the observed data. In this work, we bridge the gap between tensor factorizations and dynamical modeling by exploring the relationship between LDS, Coupled Matrix Factorizations (CMF) and the PARAFAC2 model. We propose a time-aware coupled factorization model called d(ynamical)CMF that constrains the temporal evolution of the latent factors to adhere to a specific LDS structure. Using synthetic datasets, we compare the performance of dCMF with PARAFAC2 and t(emporal)PARAFAC2 which incorporates temporal smoothness. Our results show that dCMF and PARAFAC2-based approaches perform similarly when capturing smoothly evolving patterns that adhere to the PARAFAC2 structure. However, dCMF outperforms alternatives when the patterns evolve smoothly but deviate from the PARAFAC2 structure. Furthermore, we demonstrate that the proposed dCMF method enables to capture more complex dynamics when additional prior information about the temporal evolution is incorporated.