Sustainability of TSFM Deployment and Pretraining: From Carbon Footprint Analysis to Mitigation via Pruning

📄 arXiv: 2610.32859v1 📥 PDF

作者: Cécile Luc, Nathanaël Lemonnier, Ievgen Redko

分类: cs.LG

发布日期: 2026-10-23

备注: 26 pages, 6 figures, accepted at the NeurIPS 2026 Workshop TS-LIMITS

💡 一句话要点

提出TSFM模型的碳足迹分析与修剪以提升可持续性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列模型 碳足迹分析 模型修剪 可持续性 零-shot预测

📋 核心要点

  1. 现有的时间序列模型在高预训练成本下，面临可持续性和经济性挑战，尤其是在不同规模的应用场景中。
  2. 论文提出通过分析不同模型的碳成本，结合无梯度修剪技术，优化TSFM的部署和预训练过程。
  3. 实验结果表明，修剪后的TSFM在多个任务上保持预测性能，同时显著降低了计算资源和环境影响。

📝 摘要（中文）

时间序列基础模型（TSFM）在零-shot预测中表现出色，但其高昂的预训练成本引发了可持续性问题。本文通过建模不同方法在工业场景中的累积碳成本，发现Chronos-2在大规模或频繁查询的部署中能在数月内摊销预训练成本，而传统模型在小规模或少量查询中则持续更便宜。为降低TSFM自身成本，研究表明通过无梯度修剪去除单个编码器块（占参数的7.9%）可以在不损失零-shot预测性能的情况下，稳定地减少6%至9%的FLOPs、CO2排放和延迟。

🔬 方法详解

问题定义：本文旨在解决时间序列基础模型（TSFM）在高预训练成本下的可持续性问题。现有方法在不同规模的应用场景中，面临经济性和环境影响的挑战。

核心思路：通过分析不同模型的碳成本，提出无梯度修剪技术以降低TSFM的计算资源消耗，同时保持其预测性能。

技术框架：研究首先建立了一个工业场景的碳成本模型，接着评估了Chronos-2和传统模型的成本效益，最后通过修剪技术优化TSFM的结构。

关键创新：最重要的创新在于提出了一种无梯度修剪方法，能够有效减少模型参数，同时保持零-shot预测的性能，显著提升了模型的可持续性。

关键设计：在修剪过程中，去除了占总参数7.9%的单个编码器块，结果显示在25个任务基准上，FLOPs、CO2排放和延迟均减少了6%至9%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，去除单个编码器块后，TSFM模型在25个任务基准上实现了6%至9%的FLOPs、CO2排放和延迟的减少，而零-shot预测性能几乎没有损失。这一结果表明，修剪技术在提升模型可持续性方面具有显著效果。

🎯 应用场景

该研究的潜在应用领域包括工业预测、金融市场分析和环境监测等。通过优化时间序列模型的可持续性，能够在降低环境影响的同时，提升模型在实际应用中的经济效益，具有重要的实际价值和未来影响。

📄 摘要（原文）

Time Series Foundation Models (TSFMs) offer strong zero-shot forecasting capabilities, but their high pretraining cost raises a practical sustainability question: does this upfront investment pay off over a full deployment lifecycle, compared to supervised standalone models that must be periodically retrained? We model the cumulative carbon cost of different approaches across a realistic industrial scenario: Chronos-2 amortizes its pretraining cost within months for large or frequently queried deployments, but a classical model remains cheaper indefinitely for small or rarely queried ones. For cases where reducing the TSFM's own cost matters, we show that removing a single encoder block (7.9% of parameters) via a gradient-free pruning criterion yields a consistent 6 to 9% reduction in FLOPs, CO2 emissions, and latency, at essentially no cost to zero-shot forecasting performance across a 25-task benchmark.