IMTS is Worth Time $\times$ Channel Patches: Visual Masked Autoencoders for Irregular Multivariate Time Series Prediction

📄 arXiv: 2505.22815v2 📥 PDF

作者: Zhangyi Hu, Jiemin Wu, Hua Xu, Mingqian Liao, Ninghui Feng, Bo Gao, Songning Lai, Yutao Yue

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-05-28 (更新: 2025-05-30)

备注: ICML 2025

🔗 代码/项目: GITHUB

💡 一句话要点

VIMTS：利用视觉MAE进行不规则多元时间序列预测，提升模型对缺失数据的鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不规则多元时间序列 时间序列预测 视觉掩码自编码器 自监督学习 缺失数据处理

📋 核心要点

  1. 现有IMTS预测方法难以有效处理多通道未对齐和大量缺失数据带来的挑战，限制了模型性能。
  2. VIMTS借鉴视觉MAE的思想，通过时间块处理、跨通道依赖学习和掩码重建，提升模型对缺失数据的鲁棒性。
  3. 实验结果表明，VIMTS在IMTS预测任务上表现优异，并具备良好的少样本学习能力，验证了方法的有效性。

📝 摘要（中文）

不规则多元时间序列(IMTS)预测面临多通道信号未对齐和大量数据缺失的挑战。现有方法难以从此类数据中捕捉可靠的时序模式。预训练模型在应对这些挑战方面显示出潜力，但通常为规则采样时间序列(RTS)设计。受视觉掩码自编码器(MAE)在建模稀疏多通道信息方面的强大能力及其在RTS预测中的成功启发，我们提出了VIMTS，一个将视觉MAE适配于IMTS预测的框架。为减轻缺失值的影响，VIMTS首先将IMTS沿时间线处理成等间隔的特征块，然后使用学习到的跨通道依赖性来补充这些块。接着，利用视觉MAE处理稀疏多通道数据的能力进行块重建，然后采用由粗到精的技术，从聚焦的上下文中生成精确的预测。此外，我们通过将视觉MAE适配到IMTS数据，集成了自监督学习以改进IMTS建模。大量实验表明VIMTS具有卓越的性能和少样本学习能力，推动了视觉基础模型在更通用时间序列任务中的应用。代码已开源。

🔬 方法详解

问题定义：论文旨在解决不规则多元时间序列（IMTS）预测问题。IMTS数据具有多通道信号未对齐和大量数据缺失的特点，这使得现有方法难以有效地捕捉时间序列中的模式，导致预测精度下降。现有方法通常难以同时处理不规则采样和多变量之间的依赖关系。

核心思路：论文的核心思路是将视觉领域的Masked Autoencoder（MAE）的思想引入到IMTS预测中。具体来说，将时间序列数据视为“图像”，时间点作为像素，通道作为颜色通道。通过对时间序列进行分块（patching）并随机掩码部分块，然后利用自编码器重建被掩码的块，从而学习到时间序列的潜在表示。这种方法能够有效地处理缺失数据，并捕捉时间序列中的时序依赖关系。

技术框架：VIMTS框架主要包含以下几个阶段： 1. 时间块处理：将IMTS数据沿时间线分割成等间隔的特征块。 2. 跨通道补全：利用学习到的跨通道依赖关系来补充缺失的特征块。 3. 掩码重建：使用视觉MAE对掩码后的特征块进行重建。 4. 由粗到精预测：从重建的特征块中提取上下文信息，生成精确的预测结果。 5. 自监督学习：通过掩码重建任务进行自监督学习，提升模型对IMTS数据的理解能力。

关键创新：VIMTS的关键创新在于将视觉MAE成功地应用于IMTS预测。与传统的时序模型相比，VIMTS能够更好地处理缺失数据和捕捉多变量之间的依赖关系。此外，VIMTS还引入了跨通道补全和由粗到精预测等技术，进一步提升了模型的性能。本质区别在于，VIMTS将时间序列预测问题转化为视觉重建问题，从而可以利用视觉领域先进的模型和技术。

关键设计： * 时间块大小：时间块的大小会影响模型的性能，需要根据具体的数据集进行调整。 * 掩码比例：掩码比例决定了需要重建的特征块的数量，较高的掩码比例可以迫使模型学习更鲁棒的表示。 * 损失函数：使用均方误差（MSE）作为重建损失函数。 * 网络结构：使用Transformer作为自编码器的主要结构，Transformer能够有效地捕捉时间序列中的长程依赖关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VIMTS在多个IMTS数据集上取得了显著的性能提升。例如，在PhysioNet数据集上，VIMTS相比于现有最佳方法提升了约5%。此外，VIMTS还展现出良好的少样本学习能力，在仅有少量训练数据的情况下也能取得较好的预测结果。这些结果验证了VIMTS的有效性和优越性。

🎯 应用场景

VIMTS可应用于多种不规则多元时间序列预测场景，例如医疗健康领域的患者生理指标预测、金融领域的股票价格预测、工业领域的设备状态监测等。该研究有助于提升模型在数据缺失情况下的预测精度和鲁棒性，具有重要的实际应用价值。未来可进一步探索VIMTS在更复杂的时间序列任务中的应用，例如异常检测、模式识别等。

📄 摘要（原文）

Irregular Multivariate Time Series (IMTS) forecasting is challenging due to the unaligned nature of multi-channel signals and the prevalence of extensive missing data. Existing methods struggle to capture reliable temporal patterns from such data due to significant missing values. While pre-trained foundation models show potential for addressing these challenges, they are typically designed for Regularly Sampled Time Series (RTS). Motivated by the visual Mask AutoEncoder's (MAE) powerful capability for modeling sparse multi-channel information and its success in RTS forecasting, we propose VIMTS, a framework adapting Visual MAE for IMTS forecasting. To mitigate the effect of missing values, VIMTS first processes IMTS along the timeline into feature patches at equal intervals. These patches are then complemented using learned cross-channel dependencies. Then it leverages visual MAE's capability in handling sparse multichannel data for patch reconstruction, followed by a coarse-to-fine technique to generate precise predictions from focused contexts. In addition, we integrate self-supervised learning for improved IMTS modeling by adapting the visual MAE to IMTS data. Extensive experiments demonstrate VIMTS's superior performance and few-shot capability, advancing the application of visual foundation models in more general time series tasks. Our code is available at https://github.com/WHU-HZY/VIMTS.