Forging Time Series with Language: A Large Language Model Approach to Synthetic Data Generation

📄 arXiv: 2505.17103v2 📥 PDF

作者: Cécile Rousseau, Tobia Boschi, Giandomenico Cornacchia, Dhaval Salwala, Alessandra Pascale, Juan Bernabe Moreno

分类: cs.CL, cs.AI

发布日期: 2025-05-21 (更新: 2025-11-03)

期刊: NeurIPS 2025, https://openreview.net/forum?id=A2pmvkqOgp

🔗 代码/项目: GITHUB

💡 一句话要点

SDForger：利用大语言模型生成高质量时间序列合成数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列生成 合成数据 大语言模型 文本嵌入 多模态建模

📋 核心要点

  1. 现有时间序列生成模型在处理复杂时间依赖和多变量数据时存在局限性，需要更灵活和高效的方法。
  2. SDForger将时间序列数据转换为文本嵌入，利用LLM强大的生成能力，通过微调LLM来生成高质量的合成数据。
  3. 实验表明，SDForger在多个数据集上优于现有生成模型，并在下游预测任务中表现出色，证明了其有效性。

📝 摘要（中文）

SDForger是一个灵活高效的框架，它利用大语言模型（LLM）生成高质量的多元时间序列。通过紧凑的数据表示，SDForger仅需少量样本和对任意自回归LLM的低计算量微调，即可生成合成时间序列。具体来说，该框架将单变量和多变量信号转换为表格嵌入，然后将其编码为文本，并用于微调LLM。在推理阶段，对新的文本嵌入进行采样，并解码为合成时间序列，这些序列保留了原始数据的统计特性和时间动态。在各种数据集上，SDForger在许多情况下优于现有的生成模型，无论是在基于相似性的评估还是下游预测任务中。通过在生成过程中启用文本条件，SDForger为多模态建模和时间序列与文本信息的简化集成铺平了道路。该模型已开源。

🔬 方法详解

问题定义：论文旨在解决时间序列合成数据生成的问题。现有方法，如GAN和VAE，在捕捉复杂的时间依赖关系和处理高维多元时间序列时存在困难，且训练成本高昂。此外，将时间序列数据与文本信息结合进行建模仍然是一个挑战。

核心思路：论文的核心思路是将时间序列数据转换为文本表示，然后利用预训练的大语言模型（LLM）的强大生成能力来生成合成数据。通过将时间序列编码为文本，可以利用LLM学习时间序列的复杂模式和依赖关系，并生成具有统计相似性和时间动态的合成数据。

技术框架：SDForger框架包含以下主要阶段：1) 数据嵌入：将单变量和多变量时间序列转换为表格嵌入。2) 文本编码：将表格嵌入编码为文本序列。3) LLM微调：使用编码后的文本序列微调自回归LLM。4) 文本采样：从微调后的LLM中采样新的文本序列。5) 数据解码：将采样的文本序列解码为合成时间序列。

关键创新：SDForger的关键创新在于利用LLM进行时间序列合成数据生成，并提出了一种将时间序列数据转换为文本表示的方法。这种方法使得可以利用LLM强大的语言建模能力来捕捉时间序列的复杂模式，并生成高质量的合成数据。此外，该框架支持文本条件生成，为多模态建模提供了可能。

关键设计：SDForger使用了一种紧凑的数据表示方法，将时间序列数据转换为表格嵌入，然后将其编码为文本。具体的技术细节包括：选择合适的LLM架构（如自回归Transformer），设计有效的文本编码方案，以及优化微调过程中的超参数。损失函数通常采用交叉熵损失，用于训练LLM生成正确的文本序列。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SDForger在多个数据集上进行了评估，结果表明其在生成高质量合成时间序列方面优于现有的生成模型。具体来说，SDForger在基于相似性的评估和下游预测任务中均取得了显著的提升。例如，在某些数据集上，SDForger生成的合成数据在下游预测任务中的性能与真实数据相当，甚至超过了使用其他合成数据生成方法的结果。

🎯 应用场景

SDForger可应用于多种场景，包括：数据增强，解决数据稀缺问题；隐私保护，生成合成数据用于模型训练和分析；异常检测，生成正常数据用于训练异常检测模型；以及时间序列预测，生成更多训练数据以提高预测精度。该研究为时间序列分析和建模开辟了新的途径，并促进了时间序列数据与文本信息的融合。

📄 摘要（原文）

SDForger is a flexible and efficient framework for generating high-quality multivariate time series using LLMs. Leveraging a compact data representation, SDForger provides synthetic time series generation from a few samples and low-computation fine-tuning of any autoregressive LLM. Specifically, the framework transforms univariate and multivariate signals into tabular embeddings, which are then encoded into text and used to fine-tune the LLM. At inference, new textual embeddings are sampled and decoded into synthetic time series that retain the original data's statistical properties and temporal dynamics. Across a diverse range of datasets, SDForger outperforms existing generative models in many scenarios, both in similarity-based evaluations and downstream forecasting tasks. By enabling textual conditioning in the generation process, SDForger paves the way for multimodal modeling and the streamlined integration of time series with textual information. The model is open-sourced at https://github.com/IBM/fms-dgt/tree/main/fms_dgt/public/databuilders/time_series.