FinBERT2: A Specialized Bidirectional Encoder for Bridging the Gap in Finance-Specific Deployment of Large Language Models

📄 arXiv: 2506.06335v2 📥 PDF

作者: Xuan Xu, Fufang Wen, Beilin Chu, Zhibing Fu, Qinhong Lin, Jiaqi Liu, Binjie Fei, Yu Li, Linna Zhou, Zhongliang Yang

分类: cs.IR, cs.AI, cs.CE, cs.CL

发布日期: 2025-05-31 (更新: 2025-07-05)

💡 一句话要点

FinBERT2：面向金融领域LLM部署的专用双向编码器，提升判别与检索性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融自然语言处理 预训练语言模型 金融BERT 信息检索 主题建模

📋 核心要点

  1. 大型语言模型在金融领域应用受限，判别任务性能不如微调BERT，且依赖RAG，通用检索器效果差。
  2. 提出FinBERT2，一个在320亿tokens金融语料上预训练的双向编码器，作为更优backbone。
  3. FinBERT2在金融分类、检索任务上超越其他BERT和LLM，并构建了Fin-TopicModel提升主题建模效果。

📝 摘要（中文）

自然语言处理的焦点已从BERT等仅编码器的小型语言模型转向GPT-3等仅解码器的大型语言模型(LLM)。然而，LLM在金融领域的实际应用暴露了三个局限性：(1)在金融报告市场情绪分析等判别任务上，LLM的性能通常比微调的BERT差，但计算资源消耗却高得多；(2)生成任务严重依赖检索增强生成(RAG)方法来提供最新和专业的领域信息，而通用检索器在特定领域的检索任务中表现不佳；(3)在诸如主题建模等其他基于特征的场景中也存在不足。我们推出了FinBERT2，这是一个专门的双向编码器，在高质量的、金融特定的320亿tokens语料库上进行了预训练。这是已知同等参数规模模型中最大的中文金融预训练语料库。作为一个更好的backbone，FinBERT2可以通过以下成果弥合LLM在金融领域特定部署中的差距：(1)在五个金融分类任务中，判别式微调模型(Fin-Labelers)的性能平均比其他(Fin)BERT变体高0.4%-3.3%，比领先的LLM高9.7%-12.3%。(2)在五个金融检索任务中，对比式微调模型(Fin-Retrievers)的性能优于开源(例如，比BGE-base-zh平均提高6.8%)和专有(例如，比OpenAI的text-embedding-3-large平均提高4.2%)的嵌入模型；(3)基于FinBERT2变体，我们构建了Fin-TopicModel，它能够为金融标题提供卓越的聚类和主题表示。我们的工作通过与当代LLM的比较分析，重新审视了金融BERT模型，并为在LLM时代有效利用FinBERT提供了实践见解。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在金融领域特定任务中表现不佳的问题。现有方法，如直接使用通用LLM或微调通用LLM，在金融判别任务（如情感分析）上不如微调的BERT模型，且在金融检索任务中依赖的通用检索器效果不佳。此外，LLM在金融主题建模等任务中也存在不足。

核心思路：论文的核心思路是构建一个专门针对金融领域的预训练语言模型FinBERT2。通过在高质量、大规模的金融语料库上进行预训练，使模型能够更好地理解和处理金融领域的文本信息，从而提升在金融判别、检索和主题建模等任务上的性能。

技术框架：FinBERT2的技术框架主要包括以下几个部分：1) 构建大规模高质量的金融语料库，包含320亿tokens；2) 使用BERT架构进行预训练，学习金融领域的语言表示；3) 基于FinBERT2，针对不同的金融任务进行微调，包括判别任务（Fin-Labelers）、检索任务（Fin-Retrievers）和主题建模任务（Fin-TopicModel）。

关键创新：论文的关键创新在于构建了一个专门针对金融领域的预训练语言模型FinBERT2，并证明了其在金融判别、检索和主题建模等任务上的优越性。与现有方法相比，FinBERT2能够更好地捕捉金融领域的语义信息，从而提升模型在金融任务上的性能。此外，论文还构建了Fin-TopicModel，提升了金融标题的聚类和主题表示效果。

关键设计：FinBERT2的关键设计包括：1) 使用BERT架构作为基础模型；2) 在大规模金融语料库上进行预训练，学习金融领域的语言表示；3) 针对不同的金融任务，设计不同的微调策略，例如，使用交叉熵损失函数进行判别任务的微调，使用对比学习损失函数进行检索任务的微调。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

FinBERT2在五个金融分类任务中，Fin-Labelers平均比其他(Fin)BERT变体高0.4%-3.3%，比领先的LLM高9.7%-12.3%。在五个金融检索任务中，Fin-Retrievers优于开源BGE-base-zh平均6.8%，优于OpenAI的text-embedding-3-large平均4.2%。Fin-TopicModel提升了金融标题的聚类和主题表示效果。

🎯 应用场景

FinBERT2可广泛应用于金融领域的自然语言处理任务，如金融情感分析、金融信息检索、金融主题建模等。该研究成果有助于提升金融风险管理、投资决策和智能客服等应用的效果，具有重要的实际价值。未来，FinBERT2可以进一步扩展到其他金融领域，如保险、证券等，并与其他金融技术相结合，推动金融科技的发展。

📄 摘要（原文）

In natural language processing (NLP), the focus has shifted from encoder-only tiny language models like BERT to decoder-only large language models(LLMs) such as GPT-3. However, LLMs' practical application in the financial sector has revealed three limitations: (1) LLMs often perform worse than fine-tuned BERT on discriminative tasks despite costing much higher computational resources, such as market sentiment analysis in financial reports; (2) Application on generative tasks heavily relies on retrieval augmented generation (RAG) methods to provide current and specialized information, with general retrievers showing suboptimal performance on domain-specific retrieval tasks; (3) There are additional inadequacies in other feature-based scenarios, such as topic modeling. We introduce FinBERT2, a specialized bidirectional encoder pretrained on a high-quality, financial-specific corpus of 32b tokens. This represents the largest known Chinese financial pretraining corpus for models of this parameter size. As a better backbone, FinBERT2 can bridge the gap in the financial-specific deployment of LLMs through the following achievements: (1) Discriminative fine-tuned models (Fin-Labelers) outperform other (Fin)BERT variants by 0.4%-3.3% and leading LLMs by 9.7%-12.3% on average across five financial classification tasks. (2) Contrastive fine-tuned models (Fin-Retrievers) outperform both open-source (e.g., +6.8\% avg improvement over BGE-base-zh) and proprietary (e.g., +4.2\% avg improvement over OpenAI's text-embedding-3-large) embedders across five financial retrieval tasks; (3) Building on FinBERT2 variants, we construct the Fin-TopicModel, which enables superior clustering and topic representation for financial titles. Our work revisits financial BERT models through comparative analysis with contemporary LLMs and offers practical insights for effectively utilizing FinBERT in the LLMs era.