Towards Interpretable Time Series Foundation Models

📄 arXiv: 2507.07439v1 📥 PDF

作者: Matthieu Boileau, Philippe Helluy, Jeremy Pawlus, Svitlana Vyetrenko

分类: cs.CL, cs.AI

发布日期: 2025-07-10

备注: International Conference on Machine Leaning (ICML) 2025 Workshop on Foundation Models for Structured Data

💡 一句话要点

提出一种基于指令调优的小型语言模型，用于时间序列的可解释性分析。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分析 可解释性 知识蒸馏 语言模型 多模态学习

📋 核心要点

  1. 现有时间序列分析方法缺乏可解释性，难以用自然语言描述时间序列的模式和特征。
  2. 利用大型多模态模型生成自然语言标注，并以此监督小型语言模型的微调，实现知识蒸馏。
  3. 实验表明，微调后的模型能够有效地理解时间序列，并用自然语言解释趋势、噪声和极值等特征。

📝 摘要（中文）

本文研究了将时间序列推理能力提炼到小型、指令调优的语言模型中，以此作为构建可解释的时间序列基础模型的一步。利用具有系统性变化的趋势和噪声水平的均值回复时间序列的合成数据集，我们使用大型多模态模型生成自然语言注释，并使用这些注释来监督紧凑型 Qwen 模型的微调。我们引入了评估指标，用于评估提炼推理的质量——侧重于趋势方向、噪声强度和极值定位——并表明经过后训练的模型获得了有意义的解释能力。我们的结果突出了将时间序列理解压缩到适用于设备上或隐私敏感部署的轻量级、具有语言能力的模型中的可行性。这项工作为开发能够用自然语言解释时间模式的小型、可解释的模型奠定了具体的基础。

🔬 方法详解

问题定义：现有时间序列分析方法，特别是深度学习模型，通常是黑盒模型，缺乏可解释性。用户难以理解模型做出预测的原因，也难以将模型的结果与实际业务知识相结合。因此，需要一种能够用自然语言解释时间序列模式和特征的方法。

核心思路：本文的核心思路是将大型多模态模型（LMM）的推理能力蒸馏到小型语言模型（LLM）中。具体来说，首先使用 LMM 为合成时间序列数据生成自然语言描述，然后使用这些描述作为监督信号，微调小型 LLM。这样，小型 LLM 就可以学习到时间序列的推理能力，并能够用自然语言解释时间序列的特征。

技术框架：整体框架包括以下几个主要步骤：1) 生成合成时间序列数据，包括具有不同趋势和噪声水平的均值回复时间序列；2) 使用大型多模态模型（如未指明具体模型，原文如此）为每个时间序列生成自然语言描述；3) 使用生成的自然语言描述作为监督信号，微调小型语言模型（Qwen 模型）；4) 使用专门设计的评估指标评估微调后模型的性能，包括趋势方向、噪声强度和极值定位的准确性。

关键创新：该方法的主要创新在于利用大型多模态模型生成自然语言标注，并以此作为监督信号，将时间序列的推理能力蒸馏到小型语言模型中。这使得小型模型能够具备可解释的时间序列分析能力，而无需复杂的模型结构或大量的训练数据。与传统的黑盒模型相比，该方法提供了更强的可解释性和可理解性。

关键设计：关键设计包括：1) 合成时间序列数据的生成方式，需要保证数据的多样性和代表性；2) 大型多模态模型的选择和使用，需要保证生成的自然语言描述的质量和准确性；3) 小型语言模型的选择和微调策略，需要保证模型能够有效地学习到时间序列的推理能力；4) 评估指标的设计，需要能够全面地评估模型的性能，包括趋势方向、噪声强度和极值定位的准确性。

📊 实验亮点

实验结果表明，经过微调的 Qwen 模型能够有效地理解时间序列，并用自然语言解释趋势、噪声和极值等特征。该模型在趋势方向、噪声强度和极值定位等方面的评估指标上取得了显著的性能。这表明，通过知识蒸馏，可以将大型多模态模型的推理能力有效地转移到小型语言模型中，从而实现可解释的时间序列分析。

🎯 应用场景

该研究成果可应用于金融、医疗、物联网等领域的时间序列数据分析。例如，可以用于解释股票价格的波动原因、诊断疾病的进展情况、预测设备故障等。该方法能够提供可解释的分析结果，帮助用户更好地理解数据，并做出更明智的决策。此外，小型模型更易于部署在资源受限的设备上，例如移动设备或嵌入式系统。

📄 摘要（原文）

In this paper, we investigate the distillation of time series reasoning capabilities into small, instruction-tuned language models as a step toward building interpretable time series foundation models. Leveraging a synthetic dataset of mean-reverting time series with systematically varied trends and noise levels, we generate natural language annotations using a large multimodal model and use these to supervise the fine-tuning of compact Qwen models. We introduce evaluation metrics that assess the quality of the distilled reasoning - focusing on trend direction, noise intensity, and extremum localization - and show that the post-trained models acquire meaningful interpretive capabilities. Our results highlight the feasibility of compressing time series understanding into lightweight, language-capable models suitable for on-device or privacy-sensitive deployment. This work contributes a concrete foundation toward developing small, interpretable models that explain temporal patterns in natural language.