Byte Pair Encoding for Efficient Time Series Forecasting
作者: Leon Götz, Marcel Kollovieh, Stephan Günnemann, Leo Schwinn
分类: cs.LG
发布日期: 2025-05-20 (更新: 2025-08-05)
备注: 24 pages in total, 17 figures
💡 一句话要点
提出基于字节对编码的时间序列token化方法，显著提升预测性能与效率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列预测 字节对编码 token化 motif发现 条件解码
📋 核心要点
- 现有时间序列token化方法缺乏灵活性，对简单模式产生过多token，导致计算开销大。
- 提出基于字节对编码的token化方案，利用频繁motif自适应压缩时间序列，提升效率。
- 实验表明，该方法在预测性能上提升36%，效率提升1990%，条件解码进一步降低MSE高达44%。
📝 摘要（中文）
现有的时间序列token化方法主要将固定数量的样本编码为单独的token。这种不灵活的方法即使对于简单的模式（如扩展的常数值）也会生成过多的token，从而导致巨大的计算开销。受字节对编码成功的启发，我们提出了第一个面向模式的时间序列分析token化方案。基于频繁motif的离散词汇表，我们的方法将具有潜在模式的样本合并为token，从而自适应地压缩时间序列。利用我们的有限motif集和时间序列的连续属性，我们进一步引入了条件解码作为一种轻量级但功能强大的事后优化方法，该方法不需要梯度计算，也不会增加计算开销。在最新的时间序列基础模型上，我们基于motif的token化平均提高了36%的预测性能和1990%的效率。条件解码进一步将MSE降低高达44%。在广泛的分析中，我们证明了我们的token化对不同时间模式的适应性、对未见数据的泛化能力以及捕获不同时间序列属性（包括统计矩和趋势）的有意义的token表示。
🔬 方法详解
问题定义：现有时间序列预测模型中的token化方法通常将固定数量的连续时间点编码成一个token，这种方式无法有效捕捉时间序列中的模式，尤其是在存在较长平稳期或重复模式时，会产生大量冗余token，增加计算负担。因此，如何高效地将时间序列数据转换为信息量丰富的token，是提升预测性能的关键挑战。
核心思路：论文的核心思路是借鉴自然语言处理中的字节对编码（Byte Pair Encoding, BPE）思想，将时间序列数据中的频繁模式（motif）作为基本单元进行token化。通过迭代地合并出现频率最高的相邻motif，构建一个自适应的词汇表，从而实现对时间序列的有效压缩和表示。
技术框架：该方法主要包含两个阶段：1) 基于motif的token化：首先，从时间序列数据中提取频繁出现的motif，构建初始词汇表。然后，迭代地合并词汇表中出现频率最高的相邻motif，直到达到预设的词汇表大小。2) 条件解码：在预测阶段，利用时间序列的连续性，对token化的结果进行后处理优化。具体来说，通过条件概率模型，对token边界处的预测值进行平滑调整，从而提高预测精度。
关键创新：该方法最重要的创新点在于将字节对编码的思想引入到时间序列分析中，提出了一种面向模式的token化方案。与传统的固定长度token化方法相比，该方法能够自适应地捕捉时间序列中的模式，从而实现更高效的压缩和表示。此外，条件解码作为一种轻量级的后处理方法，进一步提升了预测精度，且无需额外的梯度计算。
关键设计：在motif提取阶段，可以使用滑动窗口或其他模式发现算法来识别频繁出现的子序列。词汇表大小是一个重要的超参数，需要根据具体数据集进行调整。条件解码阶段，可以使用高斯过程或其他概率模型来估计token边界处的条件概率分布。损失函数通常采用均方误差（MSE）或其他回归损失函数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在时间序列基础模型上平均提高了36%的预测性能，效率提升了1990%。条件解码进一步将MSE降低高达44%。这些显著的性能提升表明，该方法能够有效地捕捉时间序列中的模式，并提高预测精度和效率。此外，该方法还具有良好的泛化能力，能够适应不同的时间序列数据集。
🎯 应用场景
该研究成果可广泛应用于各种时间序列预测任务，如金融市场预测、能源需求预测、交通流量预测、工业生产过程监控等。通过提高预测精度和效率，可以帮助企业和机构更好地进行决策和资源规划，具有重要的实际应用价值和经济效益。未来，该方法有望进一步推广到其他时间序列分析领域，如异常检测、模式识别等。
📄 摘要（原文）
Existing time series tokenization methods predominantly encode a constant number of samples into individual tokens. This inflexible approach can generate excessive tokens for even simple patterns like extended constant values, resulting in substantial computational overhead. Inspired by the success of byte pair encoding, we propose the first pattern-centric tokenization scheme for time series analysis. Based on a discrete vocabulary of frequent motifs, our method merges samples with underlying patterns into tokens, compressing time series adaptively. Exploiting our finite set of motifs and the continuous properties of time series, we further introduce conditional decoding as a lightweight yet powerful post-hoc optimization method, which requires no gradient computation and adds no computational overhead. On recent time series foundation models, our motif-based tokenization improves forecasting performance by 36% and boosts efficiency by 1990% on average. Conditional decoding further reduces MSE by up to 44%. In an extensive analysis, we demonstrate the adaptiveness of our tokenization to diverse temporal patterns, its generalization to unseen data, and its meaningful token representations capturing distinct time series properties, including statistical moments and trends.