OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning

📄 arXiv: 2609.40265v1 📥 PDF

作者: Tony Chen, Timo Stoffregen, Maxwell Xu, Thomas Kaar, Martin Maritsch, Geremia Pompei, Nicolas Zumarraga, Robert Jakob, Paul Schmiedmayer, Patrick Langer, Juncheng Liu

分类: cs.LG

发布日期: 2026-09-30

备注: 39 pages, 2 figures. Code: https://github.com/OpenTSLM/OpenTSLM-TeeMoE ; model: https://huggingface.co/OpenTSLM/TeeMoE

💡 一句话要点

提出OpenTSLM TeeMoE以解决时间序列预测与推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 语言模型 上下文理解 推理能力 混合专家模型

📋 核心要点

  1. 现有时间序列模型在预测、上下文理解和推理能力上存在碎片化，难以统一处理多种任务。
  2. OpenTSLM TeeMoE通过训练低秩专家模型，实现了对时间序列的直接预测、文本推理和预测聚合。
  3. 该模型在GIFT-Eval、Context is Key和TimeSeriesExam等基准测试中表现优异，排名前列。

📝 摘要（中文）

现实世界的时间序列应用日益需要能够处理时间序列预测、上下文条件预测和基于语言的时间推理的模型。然而，当前的时间序列基础模型在这些能力上仍然存在碎片化的问题：数值专家通常提供最强的预测，而基于语言的模型则提供更广泛的上下文理解和分析。为了解决这一挑战，本文提出了OpenTSLM TeeMoE，一个通用的时间序列语言模型，能够直接从观察到的时间序列进行预测，推理文本上下文和时间模式，并从外部数值预测专家中综合和优化预测。该模型在多个广泛使用的基准测试中表现出色，排名靠前。

🔬 方法详解

问题定义：本文旨在解决现有时间序列模型在预测、上下文理解和推理能力上的碎片化问题。现有方法往往在某一领域表现突出，但缺乏统一的框架来整合这些能力。

核心思路：OpenTSLM TeeMoE通过构建一个通用的时间序列语言模型，结合了数值预测和语言推理的优势。该模型能够直接从时间序列数据中进行预测，同时利用文本上下文进行推理，提升了模型的整体性能。

技术框架：该模型的整体架构包括三个低秩专家，分别负责预测聚合、原生预测和时间分析。通过一个学习的LoRA混合专家控制器，动态调整这些专家的参数更新，以适应不同的请求。

关键创新：最重要的创新在于将不同领域的专家模型整合到一个统一的框架中，而不是单独优化每个模型。这种设计使得模型能够在不牺牲个体性能的情况下，提升整体预测能力。

关键设计：模型的设计包括低秩专家的独立训练、共享的骨干网络，以及LoRA混合专家控制器的引入。这些设计确保了模型在处理不同任务时的灵活性和高效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在多个基准测试中，OpenTSLM TeeMoE表现出色，特别是在GIFT-Eval中以平均MASE排名位列前三，在Context is Key中以RCRPS排名领先，并在TimeSeriesExam中取得了高准确率。这些结果表明，该模型在时间序列预测和推理任务中具有显著的优势。

🎯 应用场景

OpenTSLM TeeMoE在金融市场预测、气候变化分析和供应链管理等领域具有广泛的应用潜力。通过统一处理时间序列数据和文本信息，该模型能够为决策提供更全面的支持，提升预测的准确性和可靠性。未来，该模型的应用可能会扩展到更多需要时间序列分析和推理的场景中。

📄 摘要（原文）

Real-world time-series applications increasingly require models that can handle time series forecasting, context-conditioned prediction, and language-based temporal reasoning. Yet current time-series foundation models remain fragmented across these capabilities: numerical specialists often provide the strongest forecasts, while language-based models offer broader contextual understanding and analysis. A central challenge is to unify these heterogeneous capabilities without reducing their individual performance. We introduce OpenTSLM TeeMoE, a generalist time-series language model that can forecast directly from observed time series, reason over textual context and temporal patterns, and synthesize and refine predictions from external numerical forecasting specialists. We independently train three low-rank experts for forecast aggregation, native forecasting, and temporal analysis over a shared backbone. A learned LoRA mixture-of-experts controller then weights their frozen parameter updates for each request. Our proposed model achieves strong performance on widely used benchmarks for time series forecasting, context-conditioned prediction, and language-based temporal reasoning, ranking among the top three on GIFT-Eval by mean MASE rank, Context is Key by RCRPS, and TimeSeriesExam by accuracy.