ChronoVAE-HOPE: Beyond Attention -- A Next-Generation VAE Foundation Model for Specialized Time Series Classification

📄 arXiv: 2605.22684v1 📥 PDF

作者: José Alberto Rodríguez, Luis Balderas, Miguel Lastra, Antonio Arauzo-Azofra, José M. Benítez

分类: cs.LG

发布日期: 2026-05-21

💡 一句话要点

ChronoVAE-HOPE：面向时间序列分类的新一代VAE基础模型，超越注意力机制。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分类 变分自编码器 基础模型 解耦表示 自监督学习

📋 核心要点

  1. 现有时间序列基础模型在特定分类任务中面临注意力机制的计算瓶颈和解耦时间序列成分的挑战。
  2. ChronoVAE-HOPE通过HOPE Block和解耦潜在空间，构建兼顾效率和可解释性的时间序列分类框架。
  3. 实验表明，ChronoVAE-HOPE在多种时间序列数据集上表现出色，尤其在因果结构严格的场景下。

📝 摘要（中文）

时间序列基础模型(TSFMs)已成为通用时间序列预测领域的最先进技术。然而，将其应用于专门的分类任务仍然受到两个相互关联的挑战的限制：标准注意力机制的二次方成本以及无法解耦时间序列变异性背后的结构成分。本技术报告介绍了ChronoVAE-HOPE，一种新一代TSFM，它将大规模泛化与用于时间序列分类的结构化潜在表示相结合。该提案的核心是建立在HOPE Block之上的变分自编码器(VAE)框架，该框架用双重记忆系统取代了二次方注意力：用于动态短期保留的Titans模块和用于抽象长期历史上下文的连续记忆系统(CMS)。一个关键的架构创新是解耦的潜在空间，它通过专用的编码器头和单独的解码器路径将表示分解为独立的趋势和季节性成分。ChronoVAE-HOPE在Monash档案上进行自监督预训练，将掩码时间序列建模(MTSM)辅助目标与解耦的VAE重建损失相结合。预训练的编码器随后被冻结，并用于生成固定长度的嵌入，以便在UCR基准数据集上进行下游分类。实证结果表明，在不同的时间域中表现出强大的性能，尤其是在以严格的因果结构为特征的设置中。ChronoVAE-HOPE通过结构化的生成表示，为基础模型适应时间序列分类建立了一个强大且可解释的框架。

🔬 方法详解

问题定义：论文旨在解决时间序列分类任务中，现有基础模型计算复杂度高（特别是注意力机制的二次方复杂度）以及难以有效解耦时间序列中趋势和季节性等结构化成分的问题。现有方法难以兼顾计算效率和对时间序列内在结构的建模能力。

核心思路：论文的核心思路是利用变分自编码器（VAE）框架，并引入HOPE Block来替代传统的注意力机制，从而降低计算复杂度。同时，通过解耦的潜在空间，将时间序列表示分解为独立的趋势和季节性成分，提高模型的可解释性和对时间序列内在结构的建模能力。

技术框架：ChronoVAE-HOPE的整体架构是一个VAE框架，包含编码器和解码器。编码器部分使用HOPE Block提取时间序列的特征，HOPE Block包含Titans模块（用于短期记忆）和连续记忆系统（CMS，用于长期记忆）。编码器的输出被分解为趋势和季节性两个部分，分别输入到对应的解码器分支。模型通过自监督预训练，结合掩码时间序列建模（MTSM）和解耦VAE重建损失进行训练。预训练后的编码器被冻结，用于生成下游分类任务的嵌入。

关键创新：论文的关键创新在于HOPE Block和解耦的潜在空间。HOPE Block通过双重记忆系统替代了传统的注意力机制，降低了计算复杂度。解耦的潜在空间将时间序列表示分解为独立的趋势和季节性成分，提高了模型的可解释性和对时间序列内在结构的建模能力。

关键设计：HOPE Block包含Titans模块和CMS，Titans模块采用动态短期记忆，CMS采用长期历史上下文抽象。解耦的潜在空间通过独立的编码器头和解码器路径实现。损失函数包含MTSM损失和解耦VAE重建损失，用于自监督预训练。预训练后，编码器被冻结，用于生成固定长度的嵌入，输入到下游分类器。

🖼️ 关键图片

fig_0

📊 实验亮点

论文在UCR基准数据集上进行了实验，结果表明ChronoVAE-HOPE在多种时间域中表现出强大的性能，尤其是在以严格的因果结构为特征的设置中。相较于传统方法，ChronoVAE-HOPE在计算效率和模型可解释性方面均有显著提升。

🎯 应用场景

ChronoVAE-HOPE可应用于各种时间序列分类场景，如医疗诊断、金融风险评估、工业设备故障预测等。其解耦的潜在空间有助于理解时间序列的内在结构，为决策提供更可靠的依据。该研究为时间序列基础模型在特定分类任务中的应用提供了新的思路。

📄 摘要（原文）

Time Series Foundation Models (TSFMs) have become a new component of the state-of-the-art in general time series forecasting. However, adapting them to specialized classification tasks remains constrained by two interconnected challenges: the quadratic cost of standard attention mechanisms and the inability to disentangle the structural components underlying time series variability. This technical report introduces ChronoVAE-HOPE, a next-generation TSFM that reconciles massive generalization with structured latent representation for time series classification. The core of the proposal is a Variational Autoencoder (VAE) framework built upon the HOPE Block, which replaces quadratic attention with a dual-memory system: Titans modules for dynamic short-term retention and a Continuum Memory System (CMS) for the abstraction of long-term historical context. A key architectural novelty is the disentangled latent space, which factorizes representations into independent trend and seasonal components via dedicated encoder heads and separate decoder pathways. ChronoVAE-HOPE undergoes self-supervised pre-training on the Monash archive, combining a Masked Time Series Modeling (MTSM) auxiliary objective with a disentangled VAE reconstruction loss. The pre-trained encoder is subsequently frozen and used to generate fixed-length embeddings for downstream classification on the UCR benchmark datasets. Empirical results demonstrate strong performance across diverse temporal domains, particularly in settings characterized by strict causal structure. ChronoVAE-HOPE establishes a robust and interpretable framework for the adaptation of foundation models to time series classification through structured generative representations.