Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative

📄 arXiv: 2502.08942v2 📥 PDF

作者: Zihao Li, Xiao Lin, Zhining Liu, Jiaru Zou, Ziwei Wu, Lecheng Zheng, Dongqi Fu, Yada Zhu, Hendrik Hamann, Hanghang Tong, Jingrui He

分类: cs.LG, cs.AI

发布日期: 2025-02-13 (更新: 2025-06-01)

备注: Preprint, 43 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出TaTS框架，利用时序配对文本增强数值时序预测与插补任务性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态时间序列 时间序列预测 时间序列插补 文本信息融合 辅助变量 深度学习 自然语言处理

📋 核心要点

  1. 现有时间序列模型主要关注数值数据，忽略了现实场景中普遍存在的上下文文本信息，限制了其应用范围。
  2. 论文提出TaTS框架，将时序配对文本视为时间序列的辅助变量，利用文本的周期性增强模型性能。
  3. 实验表明，TaTS可以无缝集成到现有数值时间序列模型中，并在预测和插补任务中显著提升性能。

📝 摘要（中文）

尽管时间序列模型取得了显著进展，但对多模态时间序列的研究，特别是那些涉及现实场景中常见的上下文文本信息的研究，仍处于起步阶段。 随着大型语言模型和时间序列学习的最新进展，我们通过柏拉图表示假设重新审视了配对文本与时间序列的集成，该假设认为不同模态的表示收敛到共享空间。 在这种背景下，我们发现时序配对文本可能自然地表现出与原始时间序列密切相关的周期性。 基于这一洞察，我们提出了一种新的框架，即“文本作为时间序列”（TaTS），该框架将时序配对文本视为时间序列的辅助变量。 TaTS可以插入到任何现有的纯数值时间序列模型中，并使它们能够有效地处理带有配对文本的时间序列数据。 通过在具有各种现有时间序列模型的基准数据集上进行的大量多模态时间序列预测和插补任务实验，我们证明了TaTS可以在不修改模型架构的情况下提高预测性能。

🔬 方法详解

问题定义：论文旨在解决多模态时间序列预测和插补问题，特别是在时间序列数据伴随有上下文文本信息的情况下。现有方法主要集中于数值时间序列建模，忽略了文本信息，或者简单地将文本信息作为额外的特征进行处理，无法充分利用文本与时间序列之间的内在联系。这种忽略导致模型无法捕捉到隐藏在文本中的时间模式，从而影响预测和插补的准确性。

核心思路：论文的核心思路是将与时间序列配对的文本视为时间序列的辅助变量，并假设这些文本也具有与时间序列相似的周期性。通过将文本信息融入到时间序列模型中，可以增强模型对时间模式的理解，从而提高预测和插补的性能。这种思路基于柏拉图表示假设，即不同模态的表示可以收敛到共享空间。

技术框架：TaTS框架可以插入到任何现有的纯数值时间序列模型中。其主要流程包括：1）文本编码：使用预训练的语言模型（如BERT）将文本信息编码为向量表示；2）文本特征提取：从文本向量表示中提取与时间序列相关的特征，例如周期性特征；3）模型集成：将提取的文本特征与数值时间序列数据一起输入到时间序列模型中进行训练和预测。

关键创新：论文的关键创新在于将时间序列配对文本视为时间序列的辅助变量，并利用文本的周期性来增强模型性能。与现有方法不同，TaTS框架不需要修改现有的时间序列模型架构，而是通过简单地将文本特征集成到模型中来实现性能提升。此外，TaTS框架还提供了一种新的视角来看待多模态时间序列数据，即文本信息可以作为时间序列的补充和增强。

关键设计：TaTS框架的关键设计包括：1）文本编码器的选择：可以使用各种预训练的语言模型，例如BERT、RoBERTa等，来将文本信息编码为向量表示；2）文本特征提取方法：可以使用各种方法来提取与时间序列相关的文本特征，例如傅里叶变换、小波变换等；3）模型集成方法：可以使用各种方法将文本特征与数值时间序列数据集成到模型中，例如拼接、加权平均等。论文中没有明确指定具体的参数设置、损失函数或网络结构，因为TaTS框架可以灵活地与各种现有的时间序列模型集成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TaTS框架可以显著提升现有时间序列模型在多模态时间序列预测和插补任务中的性能。例如，在某些数据集上，TaTS可以将预测误差降低10%以上，并且在不同的时间序列模型和数据集上都表现出一致的性能提升。这些结果表明TaTS框架具有很强的通用性和有效性。

🎯 应用场景

TaTS框架可应用于各种需要同时考虑数值时间序列和上下文文本信息的场景，例如金融市场预测（新闻报道与股票价格）、医疗健康监测（患者病历与生理指标）、社交媒体分析（用户评论与活跃度）等。该研究有助于提升相关领域预测和决策的准确性，并为多模态时间序列分析提供新的思路。

📄 摘要（原文）

While many advances in time series models focus exclusively on numerical data, research on multimodal time series, particularly those involving contextual textual information commonly encountered in real-world scenarios, remains in its infancy. With recent progress in large language models and time series learning, we revisit the integration of paired texts with time series through the Platonic Representation Hypothesis, which posits that representations of different modalities converge to shared spaces. In this context, we identify that time-series-paired texts may naturally exhibit periodic properties that closely mirror those of the original time series. Building on this insight, we propose a novel framework, Texts as Time Series (TaTS), which considers the time-series-paired texts to be auxiliary variables of the time series. TaTS can be plugged into any existing numerical-only time series models and enable them to handle time series data with paired texts effectively. Through extensive experiments on both multimodal time series forecasting and imputation tasks across benchmark datasets with various existing time series models, we demonstrate that TaTS can enhance predictive performance without modifying model architectures. Code available at https://github.com/iDEA-iSAIL-Lab-UIUC/TaTS.