The Performance of the LSTM-based Code Generated by Large Language Models (LLMs) in Forecasting Time Series Data

📄 arXiv: 2411.18731v1 📥 PDF

作者: Saroj Gopali, Sima Siami-Namini, Faranak Abri, Akbar Siami Namin

分类: cs.AI, cs.SE

发布日期: 2024-11-27

💡 一句话要点

研究LLM生成LSTM模型在时间序列预测中的性能，并与手工模型对比。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 时间序列预测 LSTM 代码生成 自动化建模

📋 核心要点

  1. 数据分析师可能缺乏手动编码和优化复杂深度学习模型的专业知识，因此探索LLM自动生成模型进行科学数据分析具有重要意义。
  2. 本文对比了ChatGPT、PaLM、LLama和Falcon等主流LLM在生成深度学习模型用于时间序列数据分析方面的性能。
  3. 实验结果表明，LLM生成的模型性能与手动优化的LSTM模型相当，且ChatGPT表现更优，模型质量受LLM的温度参数影响。

📝 摘要（中文）

本文研究了主流大型语言模型（LLM），如ChatGPT、PaLM、LLama和Falcon，在生成用于分析时间序列数据的深度学习模型方面的性能。通过一系列受控实验，针对四个标准（清晰度和具体性、目标和意图、上下文信息、格式和风格）的不同敏感度水平控制生成深度学习模型的提示。结果表明，使用LLM可以生成具有可执行代码的深度学习模型，其性能与手动构建和优化的LSTM模型相当，尤其是在预测整个时间序列数据集时。ChatGPT在生成更准确的模型方面优于其他LLM。生成的模型的优劣程度随LLM配置中使用的“温度”参数而变化。该结果对希望利用生成式AI生成良好预测模型的数据分析师和从业者有益。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）自动生成深度学习模型，特别是LSTM模型，用于时间序列预测任务的性能。现有方法依赖于人工编码和优化，需要专业知识和大量时间，对于缺乏相关技能的数据分析师来说存在挑战。

核心思路：核心思路是利用LLM的生成能力，通过精心设计的提示（prompts）来指导LLM生成可执行的LSTM模型代码，并评估这些模型在时间序列预测任务中的表现。通过控制提示的清晰度、目标、上下文信息和格式等因素，研究不同LLM生成模型的性能差异。

技术框架：整体流程包括：1）选择时间序列数据集；2）设计不同敏感度级别的提示；3）使用不同的LLM（ChatGPT、PaLM、LLama、Falcon）根据提示生成LSTM模型代码；4）在选定的数据集上训练和评估生成的模型；5）将生成的模型性能与手动构建和优化的LSTM模型进行比较。

关键创新：关键创新在于探索了利用LLM自动生成深度学习模型用于时间序列预测的可行性，并系统地研究了不同LLM和不同提示策略对生成模型性能的影响。这为非专业人士利用LLM进行复杂数据分析提供了一种新的途径。

关键设计：实验中控制了提示的四个关键因素：清晰度和具体性、目标和意图、上下文信息、格式和风格。同时，研究了LLM的“温度”参数对生成模型性能的影响。具体的LSTM网络结构和训练参数（如学习率、优化器等）可能由LLM根据提示自动生成，论文中未明确给出具体数值。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM生成的LSTM模型在时间序列预测任务中表现出与手动优化的LSTM模型相当的性能。ChatGPT在生成更准确的模型方面优于其他LLM。此外，生成的模型的性能受到LLM的“温度”参数的影响，表明可以通过调整LLM的配置来优化生成模型的性能。

🎯 应用场景

该研究成果可应用于金融市场预测、销售预测、需求预测、设备维护等多个领域。数据分析师可以利用LLM快速生成定制化的深度学习模型，降低建模门槛，提高工作效率。此外，该研究也为LLM在自动化科学数据分析领域的应用提供了参考。

📄 摘要（原文）

As an intriguing case is the goodness of the machine and deep learning models generated by these LLMs in conducting automated scientific data analysis, where a data analyst may not have enough expertise in manually coding and optimizing complex deep learning models and codes and thus may opt to leverage LLMs to generate the required models. This paper investigates and compares the performance of the mainstream LLMs, such as ChatGPT, PaLM, LLama, and Falcon, in generating deep learning models for analyzing time series data, an important and popular data type with its prevalent applications in many application domains including financial and stock market. This research conducts a set of controlled experiments where the prompts for generating deep learning-based models are controlled with respect to sensitivity levels of four criteria including 1) Clarify and Specificity, 2) Objective and Intent, 3) Contextual Information, and 4) Format and Style. While the results are relatively mix, we observe some distinct patterns. We notice that using LLMs, we are able to generate deep learning-based models with executable codes for each dataset seperatly whose performance are comparable with the manually crafted and optimized LSTM models for predicting the whole time series dataset. We also noticed that ChatGPT outperforms the other LLMs in generating more accurate models. Furthermore, we observed that the goodness of the generated models vary with respect to the ``temperature'' parameter used in configuring LLMS. The results can be beneficial for data analysts and practitioners who would like to leverage generative AIs to produce good prediction models with acceptable goodness.