Revisiting LLMs as Zero-Shot Time-Series Forecasters: Small Noise Can Break Large Models

📄 arXiv: 2506.00457v1 📥 PDF

作者: Junwoo Park, Hyuck Lee, Dohyun Lee, Daehoon Gwak, Jaegul Choo

分类: cs.LG

发布日期: 2025-05-31

备注: Annual Meeting of the Association for Computational Linguistics (ACL), 2025, Accepted as Short Paper

🔗 代码/项目: GITHUB

💡 一句话要点

研究表明：大语言模型作为零样本时间序列预测器时，对噪声敏感，性能不佳

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 时间序列预测 零样本学习 噪声敏感性 鲁棒性

📋 核心要点

  1. 现有研究对大语言模型在零样本时间序列预测中的有效性存在争议，需要更严格的验证。
  2. 该论文通过实验评估LLM作为零样本预测器的性能，并分析其对噪声的敏感性。
  3. 实验表明，LLM在零样本预测中对噪声敏感，性能不如领域特定模型，微调可能更有效。

📝 摘要（中文）

大型语言模型（LLM）在各种任务中表现出卓越的性能，无需特定领域的训练，激发了人们对其在时间序列预测中潜力的兴趣。虽然LLM仅通过提示在零样本预测中显示出潜力，但最近的研究表明，LLM在预测方面缺乏内在有效性。鉴于这些相互矛盾的发现，严格的验证对于得出可靠的结论至关重要。在本文中，我们将LLM作为零样本预测器的有效性与最先进的领域特定模型进行了比较评估。我们的实验表明，基于LLM的零样本预测器通常难以实现高精度，因为它们对噪声敏感，甚至不如简单的领域特定模型。我们探索了减少LLM在零样本设置中对噪声敏感性的解决方案，但提高其鲁棒性仍然是一个重大挑战。我们的研究结果表明，与其强调零样本预测，不如将重点放在微调LLM以更好地处理数值序列上，这可能是一个更有希望的方向。我们的实验代码可在https://github.com/junwoopark92/revisiting-LLMs-zeroshot-forecaster获得。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在零样本时间序列预测任务中的有效性。现有方法，即直接使用LLM进行零样本预测，存在对噪声过于敏感的问题，导致预测精度不高，甚至不如简单的领域特定模型。这与LLM在其他任务中展现出的强大能力形成对比，因此需要深入研究其在时间序列预测中的局限性。

核心思路：论文的核心思路是通过实验对比LLM在零样本时间序列预测中的表现与领域特定模型的表现，从而揭示LLM的优缺点。特别关注LLM对噪声的敏感性，并尝试探索降低这种敏感性的方法。研究的重点在于验证LLM是否真的具备零样本时间序列预测的能力，以及在什么情况下LLM能够胜任这项任务。

技术框架：论文采用实验研究的方法，主要包括以下几个阶段：1) 选择合适的时间序列数据集；2) 使用LLM进行零样本预测，通过prompt工程将时间序列数据输入LLM，并获得预测结果；3) 使用领域特定的时间序列预测模型作为基线；4) 对比LLM和基线模型的预测精度，并分析LLM对噪声的敏感性；5) 尝试一些方法来降低LLM对噪声的敏感性。

关键创新：论文的关键创新在于对LLM在零样本时间序列预测任务中的有效性进行了严格的评估，并指出了LLM对噪声的敏感性问题。虽然LLM在其他领域表现出色，但在时间序列预测中，其性能可能受到噪声的严重影响。这为后续研究提供了新的方向，即如何提高LLM在时间序列预测中的鲁棒性。

关键设计：论文中没有涉及具体的网络结构或损失函数设计，因为研究的重点在于评估LLM的零样本预测能力。关键设计在于prompt的设计，如何将时间序列数据以合适的格式输入LLM，以及如何评估LLM的预测结果。此外，选择合适的基线模型也很重要，以便进行公平的比较。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，LLM在零样本时间序列预测中对噪声非常敏感，其性能通常不如领域特定的简单模型。研究团队尝试了一些方法来降低LLM对噪声的敏感性，但效果有限，提高LLM在时间序列预测中的鲁棒性仍然是一个挑战。这些发现强调了在时间序列预测任务中，领域知识的重要性。

🎯 应用场景

该研究结果对时间序列预测领域具有重要意义，有助于指导研究人员在选择预测模型时更加谨慎。尤其是在数据质量不高或存在大量噪声的情况下，直接使用LLM进行零样本预测可能不是最佳选择。未来的研究可以集中在如何微调LLM，使其更好地处理数值序列，从而提高其在时间序列预测中的性能。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable performance across diverse tasks without domain-specific training, fueling interest in their potential for time-series forecasting. While LLMs have shown potential in zero-shot forecasting through prompting alone, recent studies suggest that LLMs lack inherent effectiveness in forecasting. Given these conflicting findings, a rigorous validation is essential for drawing reliable conclusions. In this paper, we evaluate the effectiveness of LLMs as zero-shot forecasters compared to state-of-the-art domain-specific models. Our experiments show that LLM-based zero-shot forecasters often struggle to achieve high accuracy due to their sensitivity to noise, underperforming even simple domain-specific models. We have explored solutions to reduce LLMs' sensitivity to noise in the zero-shot setting, but improving their robustness remains a significant challenge. Our findings suggest that rather than emphasizing zero-shot forecasting, a more promising direction would be to focus on fine-tuning LLMs to better process numerical sequences. Our experimental code is available at https://github.com/junwoopark92/revisiting-LLMs-zeroshot-forecaster.