HART: Hybrid Attention-RWKV Time series Foundation Model

📄 arXiv: 2610.12883v1 📥 PDF

作者: Qingwen Lin, Boyan Xu, Shifeng Xie, Zhifeng Hao, Keli Zhang, Ruichu Cai

分类: cs.LG

发布日期: 2026-10-09

💡 一句话要点

提出HART模型以解决RWKV在长时间序列预测中的性能衰退问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 非自回归 RWKV模型 混合注意力机制 长时间依赖 模型优化 深度学习

📋 核心要点

  1. RWKV-7在长时间序列预测中表现出性能衰退，尤其是在缺乏新观察的情况下，历史信息的有效性降低。
  2. HART模型通过交替使用注意力机制和RWKV块，结合历史信息的直接访问与递归时间建模，来解决RWKV的不足。
  3. 实验结果表明，HART在中长时间序列预测上优于纯RWKV，并且在参数量上仅为Toto-2.0-1B的约1/28，性能接近。

📝 摘要（中文）

非自回归多步预测（NAF）使时间序列基础模型能够在一次前向传播中预测整个未来范围。尽管RWKV-7在序列建模能力上表现出色，但在NAF实验中却出现了长时间预测性能衰退。分析表明，RWKV-7的状态转移机制导致历史信息衰减。为此，本文提出HART模型，结合注意力机制与RWKV块，改善了中长时间序列的预测性能。实验结果显示，HART在GIFT-Eval和TIME-Benchmark上优于纯RWKV，并在参数量上具有显著优势。

🔬 方法详解

问题定义：本文旨在解决RWKV-7在长时间序列预测中出现的性能衰退问题，尤其是在缺乏新输入的情况下，历史信息的衰减影响了预测的准确性。

核心思路：HART模型通过交替使用注意力机制和RWKV块，结合历史信息的直接访问与递归时间建模，以增强模型在长时间序列预测中的表现。这样的设计旨在克服RWKV在长时间预测中的不足，保持历史信息的有效性。

技术框架：HART模型的整体架构包括多个交替的注意力层和RWKV层，允许模型在处理时间序列时同时利用历史信息和递归状态。模型通过这种混合方式，能够更好地捕捉时间序列中的长期依赖关系。

关键创新：HART的主要创新在于引入了混合注意力机制与RWKV的结合，解决了RWKV在长时间序列预测中由于Placeholder Idling Decay导致的历史信息衰减问题。这一设计与传统的单一模型方法有本质区别。

关键设计：HART模型包含36M参数，采用特定的损失函数和网络结构设计，以确保在中长时间序列预测中实现优异的性能。实验中，HART在GIFT-Eval上实现了0.752的MASE，接近于Toto-2.0-1B的0.754。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

HART在GIFT-Eval和TIME-Benchmark上的实验结果显示，其在中长时间序列预测中的表现优于纯RWKV，且在参数量上仅为Toto-2.0-1B的约1/28，MASE接近0.752，展示了显著的性能提升。

🎯 应用场景

HART模型在时间序列预测领域具有广泛的应用潜力，尤其适用于金融市场预测、气象数据分析和供应链管理等场景。通过提高长时间序列的预测准确性，HART能够为决策支持系统提供更可靠的数据基础，进而提升各行业的运营效率和决策质量。

📄 摘要（原文）

Non-autoregressive multi-step forecasting (NAF) enables time series foundation models to predict an entire future horizon in a single forward pass. Despite its strong sequence modeling capabilities, RWKV-7 exhibits long-horizon degradation in our NAF experiments. In this setup, future patches are represented as missing inputs, requiring the recurrent state to evolve across the prediction horizon without new observations. Our analysis of RWKV-7's generalized delta rule suggests a mechanism we term Placeholder Idling Decay (PID): repeated state transitions can attenuate historical information when placeholder-driven writes provide insufficient compensation. Layer-wise analysis reveals reduced state-injection norms in most layers, while transition-matrix norms remain similar between historical and prediction regions, consistent with PID. Motivated by this analysis, we propose HART, a Hybrid Attention-RWKV Time-series Foundation Model that alternates attention and RWKV blocks, combining direct access to historical tokens with recurrent temporal modeling. Controlled experiments on GIFT-Eval and TIME-Benchmark show that HART improves over pure RWKV at medium and long horizons while maintaining comparable short-horizon performance, and achieves better aggregate performance than a comparably sized pure Transformer. With 36M parameters, HART achieves long-horizon MASE comparable to Toto-2.0-1B on GIFT-Eval (0.752 vs. 0.754), using approximately 1/28 of its parameters.