Mamba Outpaces Reformer in Stock Prediction with Sentiments from Top Ten LLMs

📄 arXiv: 2510.01203v1 📥 PDF

作者: Lokesh Antony Kadiyala, Amir Mirzaeinia

分类: q-fin.ST, cs.AI, cs.LG

发布日期: 2025-09-14

💡 一句话要点

利用大型语言模型情感分析，Mamba在股票预测中超越Reformer

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 股票预测 情感分析 大型语言模型 Mamba模型 Reformer模型

📋 核心要点

  1. 股票市场短期预测困难，现有方法难以有效捕捉新闻情绪对股价的非线性影响。
  2. 提出结合十个LLM的情感分析与股票价格数据，利用Mamba模型进行分钟级股价预测。
  3. 实验表明，Mamba模型在所有LLM下均优于Reformer，尤其在使用LLaMA 3.3-70B时误差最低。

📝 摘要（中文）

由于市场的高度波动性、新闻引起的变化以及金融时间序列的非线性性质，短期股票市场极难预测。本研究提出了一个新颖的框架，通过结合来自十个不同大型语言模型（LLM）的语义情感评分与分钟级盘中股票价格数据，来提高分钟级预测的准确性。我们系统地构建了一个时间对齐的数据集，包含2025年4月4日至5月2日期间的AAPL新闻文章和1分钟苹果公司（AAPL）股票价格。情感分析通过DeepSeek-V3、GPT变体、LLaMA、Claude、Gemini、Qwen和Mistral模型及其API实现。每篇文章都从所有十个LLM获得情感评分，这些评分被缩放到[0, 1]范围内，并与价格和技术指标（如RSI、ROC和布林带宽度）相结合。Reformer和Mamba两种最先进的模型分别使用每个LLM生成的情感评分作为输入在数据集上进行训练。超参数通过Optuna进行优化，并通过为期3天的评估期进行评估。结果表明，对于所有测试的10个LLM，Mamba不仅比Reformer更快，而且性能更好，其评估指标为均方误差（MSE）。Mamba在使用LLaMA 3.3-70B时表现最佳，误差最低为0.137。虽然Reformer可以捕捉数据中的更广泛趋势，但该模型似乎过度平滑了LLM引起的突变。这项研究强调了整合基于LLM的语义分析与高效的时间建模以增强实时金融预测的潜力。

🔬 方法详解

问题定义：现有股票预测方法难以有效整合新闻情绪，尤其是在分钟级别的高频数据中，市场波动性大，传统模型难以捕捉突发事件的影响。Reformer等模型在处理此类数据时，可能会过度平滑突变，导致预测精度下降。

核心思路：利用大型语言模型（LLM）对新闻文章进行情感分析，提取语义情感评分，并将其与股票价格和技术指标相结合，作为Mamba模型的输入。Mamba模型擅长处理序列数据，能够更好地捕捉新闻情绪对股价的动态影响。

技术框架：整体框架包括数据收集、情感分析、特征工程和模型训练四个主要阶段。首先，收集AAPL的新闻文章和分钟级股票价格数据，并进行时间对齐。然后，使用十个不同的LLM（如DeepSeek-V3、GPT变体、LLaMA等）对新闻文章进行情感分析，得到情感评分。接着，将情感评分与股票价格、RSI、ROC和布林带宽度等技术指标相结合，构建特征向量。最后，使用Mamba和Reformer模型分别进行训练和预测，并通过Optuna优化超参数。

关键创新：该研究的关键创新在于将LLM的情感分析与Mamba模型相结合，用于分钟级股票预测。与传统的基于统计或机器学习的方法相比，该方法能够更有效地利用新闻情绪信息，提高预测精度。此外，该研究还比较了Mamba和Reformer模型在股票预测任务中的性能，发现Mamba模型具有更好的表现。

关键设计：情感评分被缩放到[0, 1]范围内，以消除不同LLM之间的量纲差异。使用Optuna进行超参数优化，以找到Mamba和Reformer模型的最佳参数配置。评估指标采用均方误差（MSE），以衡量预测精度。实验周期为3天，以评估模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Mamba模型在所有测试的10个LLM下均优于Reformer模型。Mamba在使用LLaMA 3.3-70B时表现最佳，均方误差（MSE）最低为0.137。这表明Mamba模型能够更有效地捕捉新闻情绪对股价的影响，提高预测精度。

🎯 应用场景

该研究成果可应用于高频交易、风险管理和投资决策等领域。通过整合新闻情绪和股票价格数据，可以更准确地预测股价走势，帮助投资者制定更明智的交易策略。此外，该方法还可以扩展到其他金融市场，如外汇、期货等，具有广泛的应用前景。

📄 摘要（原文）

The stock market is extremely difficult to predict in the short term due to high market volatility, changes caused by news, and the non-linear nature of the financial time series. This research proposes a novel framework for improving minute-level prediction accuracy using semantic sentiment scores from top ten different large language models (LLMs) combined with minute interval intraday stock price data. We systematically constructed a time-aligned dataset of AAPL news articles and 1-minute Apple Inc. (AAPL) stock prices for the dates of April 4 to May 2, 2025. The sentiment analysis was achieved using the DeepSeek-V3, GPT variants, LLaMA, Claude, Gemini, Qwen, and Mistral models through their APIs. Each article obtained sentiment scores from all ten LLMs, which were scaled to a [0, 1] range and combined with prices and technical indicators like RSI, ROC, and Bollinger Band Width. Two state-of-the-art such as Reformer and Mamba were trained separately on the dataset using the sentiment scores produced by each LLM as input. Hyper parameters were optimized by means of Optuna and were evaluated through a 3-day evaluation period. Reformer had mean squared error (MSE) or the evaluation metrics, and it should be noted that Mamba performed not only faster but also better than Reformer for every LLM across the 10 LLMs tested. Mamba performed best with LLaMA 3.3--70B, with the lowest error of 0.137. While Reformer could capture broader trends within the data, the model appeared to over smooth sudden changes by the LLMs. This study highlights the potential of integrating LLM-based semantic analysis paired with efficient temporal modeling to enhance real-time financial forecasting.