TRACE: Time SeRies PArameter EffiCient FinE-tuning

📄 arXiv: 2503.16991v3 📥 PDF

作者: Yuze Li, Wei Zhu

分类: cs.LG

发布日期: 2025-03-21 (更新: 2025-11-21)

期刊: Neurocomputing, Volume 320, 2025, Article 132098

DOI: 10.1016/j.neucom.2025.132098

💡 一句话要点

TRACE：面向时间序列基础模型的高效参数微调方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 参数高效微调 LoRA 重要性选择 长时预测

📋 核心要点

  1. 时间序列基础模型微调面临数据多样性挑战，如频率、通道数和预测长度的差异，尤其在长时预测任务中。
  2. TRACE框架通过门控DSIC实现LoRA模块的重要性选择，保证掩码前后参数一致性，并重构预测头以减少参数量。
  3. 实验表明，TRACE在长短期预测、异常检测等任务上表现出色，门控DSIC优于常见微调，重构预测头参数效率高。

📝 摘要（中文）

本文提出了一种针对时间序列基础模型的高效微调方法，名为TRACE：时间序列参数高效微调。虽然预训练的时间序列基础模型越来越受欢迎，但它们面临以下挑战：（1）与自然语言任务不同，时间序列数据在频率、通道数、历史/预测长度方面各不相同。特别是对于长期预测任务，定制的微调可以显著提高性能。（2）现有的参数高效微调方法（如LoRA）仍然适用，但需要适应时间特性。为了应对这些挑战，我们的TRACE框架引入了两项关键创新：（1）门控DSIC（门控动态模拟重要性计算），这是一种无偏的LoRA模块重要性选择机制，可确保掩码前后条件参数的一致性。实验表明，门控DSIC优于常见的微调方法。（2）用于长期预测任务的重构预测头，与线性探测头相比，它在大幅减少参数数量的同时，实现了可比或更优越的性能。在各种数据集上进行的长期/短期预测、异常检测和自然语言任务的大量实验，以及消融研究，验证了我们方法的有效性。

🔬 方法详解

问题定义：时间序列基础模型在微调时面临数据异构性问题，具体表现为时间序列数据在频率、通道数、历史/预测长度等方面存在显著差异。尤其是在长时预测任务中，通用微调策略难以充分利用数据特性，导致性能提升受限。此外，现有的参数高效微调方法，如LoRA，虽然可以减少微调参数量，但缺乏对时间序列数据特点的针对性优化。

核心思路：TRACE的核心思路是针对时间序列数据的特点，设计一种参数高效且能自适应选择重要参数的微调方法。通过引入门控DSIC机制，动态评估并选择LoRA模块的重要性，从而在微调过程中更加关注对时间序列预测至关重要的参数。同时，针对长时预测任务，设计了一种重构预测头，以减少预测头的参数量，提高模型的整体效率。

技术框架：TRACE框架主要包含两个核心模块：门控DSIC和重构预测头。首先，使用预训练的时间序列基础模型作为backbone。然后，在backbone的适当位置插入LoRA模块。接着，利用门控DSIC机制，动态计算每个LoRA模块的重要性，并根据重要性进行参数选择。最后，对于长时预测任务，使用重构预测头替换原有的线性预测头。整个框架通过端到端的方式进行训练。

关键创新：TRACE的关键创新在于门控DSIC和重构预测头的设计。门控DSIC是一种无偏的LoRA模块重要性选择机制，它能够确保在进行参数掩码前后，模型的条件参数保持一致性，从而避免了因参数选择引入的偏差。重构预测头则通过一种参数高效的方式，实现了与线性预测头相当甚至更优越的性能，显著降低了模型的参数量。

关键设计：门控DSIC的关键设计在于动态模拟重要性计算过程，并引入门控机制来控制参数的更新。具体来说，它通过计算每个LoRA模块对预测结果的影响程度来评估其重要性，并使用一个门控函数来决定是否更新该模块的参数。重构预测头的具体结构未知，但其目标是在减少参数量的同时，保持预测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TRACE在长短期预测、异常检测和自然语言任务上均取得了显著的性能提升。特别是在长时预测任务中，TRACE的性能优于其他参数高效微调方法，并且重构预测头在大幅减少参数数量的同时，实现了与线性探测头相当或更优越的性能。Gated DSIC也优于常见的微调方法。

🎯 应用场景

TRACE框架在多个时间序列分析任务中具有广泛的应用前景，包括但不限于：金融市场预测、能源消耗预测、交通流量预测、工业生产过程监控和异常检测等。该方法能够提升时间序列基础模型在特定任务上的性能，降低模型部署成本，并加速模型在实际场景中的应用。

📄 摘要（原文）

We propose an efficient fine-tuning method for time series foundation models, termed TRACE: Time Series Parameter Efficient Fine-tuning. While pretrained time series foundation models are gaining popularity, they face the following challenges: (1) Unlike natural language tasks, time series data vary in frequency, channel numbers, historical/prediction lengths. For long-term forecasting tasks in particular, tailored fine-tuning can significantly enhance performance.(2) Existing parameter-efficient tuning methods like LoRA remain applicable but require adaptation to temporal characteristics. To address these challenges, our TRACE framework introduces two key innovations: (1) Gated DSIC (Gated Dynamic Simulation Importance Calculation), an unbiased LoRA module importance selection mechanism that ensures conditional parameter consistency before and after masking. Experiments demonstrate that Gated DSIC outperforms common fine-tuning. (2) Reconstructed prediction heads for long-term forecasting tasks, which achieve comparable or superior performance to linear probing heads while drastically reducing parameter counts. Extensive experiments on long-/short-term forecasting, anomaly detection and natural language tasks across diverse datasets, coupled with ablation studies, validate the effectiveness of our method.