Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow

📄 arXiv: 2407.18103v2 📥 PDF

作者: Tian Guo, Emmanuel Hauptmann

分类: q-fin.CP, cs.LG, q-fin.PM

发布日期: 2024-07-25 (更新: 2024-08-05)

💡 一句话要点

利用新闻流微调大型语言模型以预测股票收益，提升投资组合表现。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 股票收益预测 大型语言模型 新闻流 量化投资 文本表示 投资组合优化 金融新闻 自然语言处理

📋 核心要点

  1. 现有股票收益预测方法依赖传统情感分析，未能充分利用新闻文本中的深层语义信息。
  2. 提出利用新闻流微调大型语言模型，学习文本的深层表示，并将其用于股票收益预测。
  3. 实验表明，基于LLM的预测模型能够有效提升投资组合的表现，优于传统情感分析方法。

📝 摘要（中文）

本文探讨了利用金融新闻流微调大型语言模型（LLMs）以进行股票收益预测。在量化投资中，收益预测是股票选择、投资组合优化等后续任务的基础。本文将模型构建为包含文本表示和预测模块。比较了仅编码器和仅解码器LLM，因为它们以不同的方式生成文本表示，而这些不同表示对预测性能的影响仍然是一个悬而未决的问题。同时，比较了两种将LLM的token级别表示集成到预测模块的简单方法。在真实新闻和投资领域上的实验表明：（1）来自LLM的token级别嵌入的聚合表示通常会产生收益预测，从而提高多头和多空投资组合的性能；（2）在相对较大的投资领域中，基于解码器LLM的预测模型会产生更强的投资组合，而在较小的领域中，没有一致的赢家。在研究的三种LLM（DeBERTa、Mistral、Llama）中，Mistral在不同的领域中表现更为稳健；（3）从LLM的文本表示中得出的收益预测是构建投资组合的强大信号，优于传统的 sentiment 分数。

🔬 方法详解

问题定义：论文旨在解决股票收益预测问题。现有方法，如基于传统情感分析的方法，无法充分捕捉新闻文本中的复杂语义信息，导致预测精度有限。因此，需要一种能够更有效地利用新闻文本信息进行收益预测的方法。

核心思路：论文的核心思路是利用大型语言模型（LLMs）学习新闻文本的深层表示，并将其作为预测股票收益的信号。通过微调LLM，使其能够更好地理解金融新闻的语义，从而提高收益预测的准确性。

技术框架：整体框架包含两个主要模块：文本表示模块和预测模块。文本表示模块使用预训练的LLM（如DeBERTa、Mistral、Llama）对新闻文本进行编码，生成token级别的嵌入表示。然后，通过聚合这些嵌入表示，得到文本的整体表示。预测模块则利用文本表示来预测股票收益。论文比较了仅编码器和仅解码器LLM，以及两种不同的token级别嵌入聚合方法。

关键创新：论文的关键创新在于将大型语言模型应用于股票收益预测，并探索了不同LLM架构（编码器 vs 解码器）和嵌入聚合方法对预测性能的影响。此外，论文还证明了基于LLM的文本表示能够提供比传统情感分析更强的预测信号。

关键设计：论文比较了三种LLM：DeBERTa（仅编码器）、Mistral（仅解码器）和Llama（仅解码器）。对于嵌入聚合，论文比较了两种简单的方法，具体细节未知。损失函数和网络结构等细节在论文中没有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于LLM的预测模型能够有效提升投资组合的表现。在相对较大的投资领域中，基于解码器LLM的预测模型表现更佳。Mistral模型在不同领域中表现更为稳健。基于LLM文本表示的收益预测信号优于传统情感分析方法，为投资组合构建提供了更强的依据。

🎯 应用场景

该研究成果可应用于量化投资领域，帮助投资者构建更有效的股票投资组合。通过利用新闻流中的深层语义信息，可以提高股票收益预测的准确性，从而提升投资回报。此外，该方法还可以扩展到其他金融预测任务，如风险管理和信用评估。

📄 摘要（原文）

Large language models (LLMs) and their fine-tuning techniques have demonstrated superior performance in various language understanding and generation tasks. This paper explores fine-tuning LLMs for stock return forecasting with financial newsflow. In quantitative investing, return forecasting is fundamental for subsequent tasks like stock picking, portfolio optimization, etc. We formulate the model to include text representation and forecasting modules. We propose to compare the encoder-only and decoder-only LLMs, considering they generate text representations in distinct ways. The impact of these different representations on forecasting performance remains an open question. Meanwhile, we compare two simple methods of integrating LLMs' token-level representations into the forecasting module. The experiments on real news and investment universes reveal that: (1) aggregated representations from LLMs' token-level embeddings generally produce return predictions that enhance the performance of long-only and long-short portfolios; (2) in the relatively large investment universe, the decoder LLMs-based prediction model leads to stronger portfolios, whereas in the small universes, there are no consistent winners. Among the three LLMs studied (DeBERTa, Mistral, Llama), Mistral performs more robustly across different universes; (3) return predictions derived from LLMs' text representations are a strong signal for portfolio construction, outperforming conventional sentiment scores.