PriceSeer: Evaluating Large Language Models in Real-Time Stock Prediction

📄 arXiv: 2601.06088v1 📥 PDF

作者: Bohan Liang, Zijian Chen, Qi Jia, Kaiwei Zhang, Kaiyuan Ji, Guangtao Zhai

分类: q-fin.ST, cs.LG

发布日期: 2025-12-31

备注: 7 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

PriceSeer：一个用于实时股票预测中评估大型语言模型的动态基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 股票预测 大型语言模型 实时基准 金融市场 假新闻检测

📋 核心要点

  1. 现有股票预测方法难以应对实时动态环境，且缺乏对外部信息（如新闻）的有效利用，限制了预测的准确性。
  2. PriceSeer通过构建一个实时、动态且数据未受污染的基准，并引入财务指标、新闻和假新闻等外部信息，来评估LLMs在股票预测中的能力。
  3. 实验结果表明，LLMs在股票预测方面具有潜力，但长期预测性能欠佳，且易受假新闻和特定行业的影响。

📝 摘要（中文）

股票预测是一个与人们在完全动态和实时环境中投资活动密切相关的主题，已被广泛研究。目前的大型语言模型（LLMs）在各个领域都表现出了卓越的潜力，通过先进的推理和上下文理解展现了专家级的性能。本文介绍PriceSeer，这是一个实时的、动态的、数据未受污染的基准，专门为执行股票预测任务的LLMs设计。具体来说，PriceSeer包括来自11个工业部门的110只美国股票，每只股票包含249个历史数据点。我们的基准实现了内部和外部信息扩展，其中LLMs接收额外的财务指标、新闻和假新闻来执行股票价格预测。我们评估了六个最先进的LLMs在不同预测周期下的表现，展示了它们在获得不同行业的准确价格预测后生成投资策略的潜力。此外，我们还分析了LLMs在长期预测中的次优表现，包括对假新闻和特定行业的脆弱性。代码和评估数据将在https://github.com/BobLiang2113/PriceSeer上开源。

🔬 方法详解

问题定义：论文旨在解决现有股票预测方法在实时动态环境中表现不佳，以及缺乏对外部信息有效利用的问题。现有方法难以有效整合新闻、财务指标等信息，并且容易受到数据污染的影响，导致预测准确率不高。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的推理和上下文理解能力，结合实时股票数据和外部信息（如新闻、财务指标），构建一个动态的股票预测基准。通过评估LLMs在不同预测周期下的表现，探索其在股票预测方面的潜力。

技术框架：PriceSeer基准包含以下主要模块：1) 实时股票数据收集模块，收集来自11个工业部门的110只美国股票的历史数据；2) 信息扩展模块，引入财务指标、新闻和假新闻等外部信息；3) LLMs评估模块，评估六个最先进的LLMs在不同预测周期下的表现；4) 结果分析模块，分析LLMs的预测结果，并探讨其在长期预测中的不足之处。

关键创新：PriceSeer的关键创新在于构建了一个实时、动态且数据未受污染的股票预测基准，并引入了假新闻等外部信息，更贴近真实的股票市场环境。此外，该基准还提供了一个统一的评估平台，方便研究人员评估不同LLMs在股票预测方面的性能。

关键设计：PriceSeer基准使用了249个历史数据点，涵盖了11个工业部门的110只美国股票。在信息扩展方面，该基准引入了财务指标、新闻和假新闻等外部信息，并设计了相应的评估指标来衡量LLMs的预测准确率和鲁棒性。具体使用的LLM包括但不限于GPT系列，评估指标包括预测准确率、收益率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PriceSeer基准评估了六个最先进的LLMs在不同预测周期下的表现，结果表明LLMs在股票预测方面具有潜力，尤其是在短期预测中。然而，LLMs在长期预测中的表现欠佳，并且容易受到假新闻和特定行业的影响。这些发现为进一步研究LLMs在股票预测中的应用提供了重要的参考。

🎯 应用场景

该研究成果可应用于智能投资顾问、风险管理和金融市场分析等领域。通过利用LLMs的预测能力，可以为投资者提供更准确的投资建议，帮助他们降低投资风险并获得更高的回报。此外，该研究还可以促进金融领域对LLMs的进一步研究和应用。

📄 摘要（原文）

Stock prediction, a subject closely related to people's investment activities in fully dynamic and live environments, has been widely studied. Current large language models (LLMs) have shown remarkable potential in various domains, exhibiting expert-level performance through advanced reasoning and contextual understanding. In this paper, we introduce PriceSeer, a live, dynamic, and data-uncontaminated benchmark specifically designed for LLMs performing stock prediction tasks. Specifically, PriceSeer includes 110 U.S. stocks from 11 industrial sectors, with each containing 249 historical data points. Our benchmark implements both internal and external information expansion, where LLMs receive extra financial indicators, news, and fake news to perform stock price prediction. We evaluate six cutting-edge LLMs under different prediction horizons, demonstrating their potential in generating investment strategies after obtaining accurate price predictions for different sectors. Additionally, we provide analyses of LLMs' suboptimal performance in long-term predictions, including the vulnerability to fake news and specific industries. The code and evaluation data will be open-sourced at https://github.com/BobLiang2113/PriceSeer.