KITE: A Knowledge-Injected Temporal Encoder for Time-Series Event Forecasting

📄 arXiv: 2610.12738v1 📥 PDF

作者: Jonas Petersen, Pratik Jawahar, Riccardo Maggioni, Gian-Alessandro Lombardi, Matteo Cozzi, Marek Gajewski, Federico Martelli, Camilla Mazzoleni, Philipp Christian Petersen

分类: cs.LG, cs.AI

发布日期: 2026-10-08

备注: FMTS, NeurIPS 2026

💡 一句话要点

提出KITE以解决多变量时间序列事件预测中的知识注入问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列预测 知识注入 自监督学习 多变量系统 事件预测 深度学习 跨领域转移

📋 核心要点

  1. 现有方法在多变量时间序列事件预测中面临稀有事件前兆信息缺乏的问题，导致模型学习效果不佳。
  2. 本文提出KITE模型，通过协变量机制和注意力偏置机制将工程师的先验知识注入自监督预测器，提升模型的预测能力。
  3. 实验结果显示，使用信息性先验的KITE模型在领域内和跨领域的预测性能均显著提升，尤其在低标签比例下表现突出。

📝 摘要（中文）

在多变量时间序列系统中，预测稀有且高成本事件的难度在于其前兆信息稀少，传统数据驱动模型难以有效学习。工程师们掌握的先验知识可以为事件预测提供重要信息。本文提出KITE模型，通过可切换的协变量机制和注意力偏置机制将这种语义先验注入自监督事件预测器中，从而提升预测性能。实验结果表明，在短时间窗口中，使用信息性先验的模型在领域内的表现显著优于无先验模型，并且在跨领域转移中也表现出良好的效果。

🔬 方法详解

问题定义：本文旨在解决多变量时间序列系统中稀有高成本事件的预测问题。现有方法依赖于数据驱动，难以从稀少的标签中学习有效信息，导致预测性能不足。

核心思路：KITE模型通过引入工程师的先验知识，利用协变量机制和注意力偏置机制，增强自监督事件预测器的学习能力。这种设计使得模型能够在缺乏足够数据的情况下，依然能够有效预测事件。

技术框架：KITE的整体架构包括两个主要模块：协变量机制和注意力偏置机制。协变量机制用于注入先验知识，而注意力偏置机制则帮助模型聚焦于重要特征。这两个机制可以根据需要切换，适应不同类型的先验知识。

关键创新：KITE的主要创新在于其灵活的知识注入机制，能够在不同数据集上无需重新设计架构，直接利用先验知识提升预测性能。这种方法与传统的特征转移方法本质上不同，强调了知识的语义性。

关键设计：KITE模型的设计包括可切换的机制，确保在无先验情况下模型仍能正常工作。此外，模型的损失函数和网络结构经过精心设计，以支持不同类型的先验知识注入，确保模型在多种场景下的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，KITE模型在使用信息性先验时，相较于无先验基线，领域内的预测性能提升显著，周期性时钟提升14%（p<0.001），而保守残差提升47%（在0.25标签比例下）。在跨领域转移中，KITE模型的性能提升达到53%，显示出其强大的适应性和有效性。

🎯 应用场景

KITE模型在预测稀有事件的应用场景中具有广泛的潜力，尤其适用于金融、医疗和工业监控等领域。这些领域中，事件的预测往往依赖于稀少的历史数据，而KITE能够有效利用专家知识，提升预测准确性，降低潜在损失。未来，该模型有望成为跨领域时间序列预测的基础工具，推动智能决策的发展。

📄 摘要（原文）

Forecasting rare, high-cost events in multivariate time-series systems is hard because their precursors are seldom observed, so a purely data-driven model has little to learn from. The engineers who run these systems, however, hold knowledge that precedes such events, information absent from the scarce labels. We call this a semantic prior and inject it into a self-supervised event forecaster through two switchable mechanisms, a covariate mechanism and an attention-bias mechanism, each the identity at its null, so one architecture serves every prior type with no per-dataset architecture search. A prior helps when it supplies information the observed window does not already contain: in a short context an informative prior beats no prior in-domain (pooled h-AUROC over the no-prior baseline: a periodicity clock +14%, p<0.001; a conservation residual +47% at a 0.25 label fraction), and a working prior transfers out-of-domain (+53%), substituting for feature transfer, while priors the window already recovers stay inert and the attention-bias mechanism shows no measurable gain. KITE is a switchable, attributable route to contextual conditioning, and a substrate for scaling toward cross-domain, pretrained time-series foundation world models that carry their governing structure explicitly.