Are Large Language Models Good In-context Learners for Financial Sentiment Analysis?

📄 arXiv: 2503.04873v1 📥 PDF

作者: Xinyu Wei, Luojia Liu

分类: cs.CL, cs.AI, q-fin.CP

发布日期: 2025-03-06

备注: Accepted by ICLR 2025 Workshop on Advances in Financial AI

💡 一句话要点

探索大语言模型在金融情感分析中作为上下文学习器的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融情感分析 大语言模型 上下文学习 金融人工智能 自然语言处理

📋 核心要点

  1. 金融情感分析面临金融术语复杂、情感主观和表达模糊等挑战，现有方法难以有效应对。
  2. 本文探索大语言模型在金融情感分析中作为上下文学习器的能力，无需微调即可进行情感分析。
  3. 实验涵盖多种LLMs和上下文样本选择方法，验证了LLMs在金融情感分析中的上下文学习能力。

📝 摘要（中文）

近年来，拥有数千亿参数的大语言模型（LLMs）展现出强大的涌现能力，即使不针对特定领域数据进行微调，也能在各个领域超越传统方法。然而，在金融情感分析（FSA）这一金融人工智能的基础任务中，这些模型常常面临复杂金融术语、主观人类情感和模糊倾向表达等挑战。本文旨在回答一个根本问题：LLMs是否是优秀的金融情感分析上下文学习器？揭示这个问题可以深入了解LLMs是否能够通过泛化金融文档-情感对的上下文示例来学习解决这些挑战，从而对新文档进行情感分析，因为在金融特定数据上微调这些模型即使不是完全不可能，也非常困难。据我们所知，这是第一篇探索FSA上下文学习的论文，涵盖了大多数现代LLMs（包括最近发布的DeepSeek V3）和多种上下文样本选择方法。全面的实验验证了LLMs在FSA中的上下文学习能力。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在金融情感分析（FSA）任务中作为上下文学习器的有效性。现有的金融情感分析方法通常需要针对特定领域的数据进行微调，这既耗时又耗资源。此外，金融领域的复杂术语和情感表达方式也给传统方法带来了挑战。

核心思路：论文的核心思路是利用LLMs的上下文学习能力，通过提供少量的金融文档-情感标签示例，让LLMs学习如何在没有显式微调的情况下，对新的金融文档进行情感分析。这种方法旨在克服金融领域数据稀缺和微调成本高昂的问题。

技术框架：论文采用了一种标准的上下文学习框架。首先，从金融情感分析数据集中选择一部分文档-情感标签对作为上下文示例。然后，将这些示例与待分析的金融文档一起输入到LLM中。LLM根据上下文示例推断待分析文档的情感极性。论文探索了不同的上下文示例选择方法，例如随机选择、基于相似度选择等。

关键创新：论文的关键创新在于首次系统性地研究了LLMs在金融情感分析中作为上下文学习器的能力。之前的研究主要集中在通用领域的情感分析，而忽略了金融领域的特殊性。此外，论文还比较了不同LLMs和上下文示例选择方法在FSA任务中的表现，为未来的研究提供了有价值的参考。

关键设计：论文的关键设计包括：1) 选择了多个具有代表性的LLMs，包括DeepSeek V3等；2) 采用了多种上下文示例选择方法，例如随机选择、基于相似度选择等；3) 使用了标准的金融情感分析数据集，例如Financial PhraseBank等；4) 采用了常用的情感分析评价指标，例如准确率、F1值等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在金融情感分析中表现出良好的上下文学习能力。通过选择合适的上下文示例，LLMs可以在没有微调的情况下，达到与传统微调方法相近甚至更好的性能。例如，在某些数据集上，使用DeepSeek V3作为上下文学习器，其性能超过了经过金融领域数据微调的BERT模型。

🎯 应用场景

该研究成果可应用于金融风险管理、投资决策支持、舆情监控等领域。通过利用LLMs的上下文学习能力，可以更快速、更准确地分析金融文本的情感倾向，从而帮助金融机构和投资者做出更明智的决策。未来，该方法有望扩展到其他金融领域的自然语言处理任务中。

📄 摘要（原文）

Recently, large language models (LLMs) with hundreds of billions of parameters have demonstrated the emergent ability, surpassing traditional methods in various domains even without fine-tuning over domain-specific data. However, when it comes to financial sentiment analysis (FSA)$\unicode{x2013}$a fundamental task in financial AI$\unicode{x2013}$these models often encounter various challenges, such as complex financial terminology, subjective human emotions, and ambiguous inclination expressions. In this paper, we aim to answer the fundamental question: whether LLMs are good in-context learners for FSA? Unveiling this question can yield informative insights on whether LLMs can learn to address the challenges by generalizing in-context demonstrations of financial document-sentiment pairs to the sentiment analysis of new documents, given that finetuning these models on finance-specific data is difficult, if not impossible at all. To the best of our knowledge, this is the first paper exploring in-context learning for FSA that covers most modern LLMs (recently released DeepSeek V3 included) and multiple in-context sample selection methods. Comprehensive experiments validate the in-context learning capability of LLMs for FSA.