TimeHF: Billion-Scale Time Series Models Guided by Human Feedback

📄 arXiv: 2501.15942v1 📥 PDF

作者: Yongzhi Qi, Hao Hu, Dazhou Lei, Jianshen Zhang, Zhengxin Shi, Yulin Huang, Zhengyu Chen, Xiaoming Lin, Zuo-Jun Max Shen

分类: cs.LG

发布日期: 2025-01-27

💡 一句话要点

TimeHF：基于人类反馈的十亿级时间序列模型，提升供应链预测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 大型模型 人类反馈 供应链管理 卷积嵌入

📋 核心要点

  1. 现有时间序列模型在可扩展性、泛化性和零样本性能方面存在不足，难以满足实际应用需求。
  2. TimeHF通过patch卷积嵌入提取长时间序列信息，并引入时间序列策略优化机制，有效融合人类反馈。
  3. TimeHF在京东供应链的自动补货场景中，将预测准确率提升了33.21%，展现了巨大的工业价值。

📝 摘要（中文）

本文提出了一种名为TimeHF的新型pipeline，用于创建具有60亿参数并结合人类反馈的大型时间序列模型（LTM）。现有方法在训练复杂度、适应人类反馈和实现高预测精度方面面临挑战。TimeHF使用patch卷积嵌入来捕获长时间序列信息，并设计了一种名为时间序列策略优化的人类反馈机制。该模型已部署在京东的供应链中，用于超过20,000种产品的自动补货，与现有方法相比，预测准确率提高了33.21%。这项工作推进了LTM技术，并展示了显著的工业效益。

🔬 方法详解

问题定义：现有时间序列神经网络在实际应用中表现出色，但面临可扩展性有限、泛化能力差以及零样本性能不佳等挑战。训练大型时间序列模型（LTM）的复杂性高，难以有效整合人类反馈，并且难以达到理想的预测精度。这些问题限制了LTM在实际工业场景中的应用。

核心思路：TimeHF的核心思路是借鉴大型语言模型的成功经验，构建一个具有数十亿参数的大型时间序列模型，并通过引入人类反馈机制来提升模型的预测精度和泛化能力。通过patch卷积嵌入来有效提取长时间序列的特征，并设计时间序列策略优化方法，将人类的专业知识融入到模型的训练过程中。

技术框架：TimeHF的整体框架包含以下几个主要模块：1) Patch卷积嵌入模块：用于将原始时间序列数据转换为高维特征表示。2) 大型Transformer模型：作为模型的核心，用于学习时间序列的长期依赖关系。3) 时间序列策略优化模块：用于整合人类反馈，指导模型的训练。整个流程包括数据预处理、模型训练和在线预测三个阶段。

关键创新：TimeHF的关键创新在于：1) 提出了基于patch卷积嵌入的时间序列特征提取方法，能够有效捕获长时间序列的局部和全局信息。2) 设计了一种新颖的时间序列策略优化方法，能够将人类反馈转化为可学习的奖励信号，从而指导模型的训练。3) 构建了一个具有60亿参数的大型时间序列模型，显著提升了模型的预测能力。

关键设计：在patch卷积嵌入模块中，使用了不同大小的卷积核来提取不同尺度的特征。在时间序列策略优化模块中，定义了一个奖励函数，用于衡量模型预测结果与人类反馈之间的差异。Transformer模型的具体结构和参数设置（例如层数、注意力头数等）需要根据具体的数据集和任务进行调整。损失函数结合了预测损失和人类反馈损失，以平衡模型的预测精度和人类反馈的利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TimeHF在京东供应链的自动补货场景中进行了验证，实验结果表明，与现有方法相比，TimeHF的预测准确率提高了33.21%。这一显著的性能提升表明TimeHF在处理实际工业问题时具有强大的能力，验证了其有效性和实用性。

🎯 应用场景

TimeHF具有广泛的应用前景，可应用于供应链管理、金融预测、能源需求预测、交通流量预测等领域。通过提高预测精度，可以有效降低库存成本、优化资源配置、提升运营效率。该研究成果对于推动大型时间序列模型在工业界的落地具有重要意义，并有望促进相关领域的技术创新。

📄 摘要（原文）

Time series neural networks perform exceptionally well in real-world applications but encounter challenges such as limited scalability, poor generalization, and suboptimal zero-shot performance. Inspired by large language models, there is interest in developing large time series models (LTM) to address these issues. However, current methods struggle with training complexity, adapting human feedback, and achieving high predictive accuracy. We introduce TimeHF, a novel pipeline for creating LTMs with 6 billion parameters, incorporating human feedback. We use patch convolutional embedding to capture long time series information and design a human feedback mechanism called time-series policy optimization. Deployed in JD.com's supply chain, TimeHF handles automated replenishment for over 20,000 products, improving prediction accuracy by 33.21% over existing methods. This work advances LTM technology and shows significant industrial benefits.