LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard

📄 arXiv: 2504.13125v1 📥 PDF

作者: Varun Rao, Youran Sun, Mahendra Kumar, Tejas Mutneja, Agastya Mukherjee, Haizhao Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-04-17

💡 一句话要点

微调LLM以提升金融任务性能，基于Open FinLLM排行榜

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 金融领域 微调 监督学习 强化学习 自然语言处理 金融任务

📋 核心要点

  1. 现有LLM在金融领域的应用面临专业知识不足的挑战，难以直接胜任复杂的金融任务。
  2. 论文通过在金融数据集上微调Qwen2.5和Deepseek-R1等先进LLM，提升其金融领域的专业能力。
  3. 实验表明，微调后的模型在多个金融任务上取得了显著的性能提升，验证了该方法的有效性。

📝 摘要（中文）

本文研究了大型语言模型（LLM）在金融任务中的应用。我们以Open FinLLM排行榜为基准，对基础模型进行了微调。基于Qwen2.5和Deepseek-R1，我们采用了包括监督微调（SFT）、直接偏好优化（DPO）和强化学习（RL）等技术来增强它们的金融能力。微调后的模型在各种金融任务中表现出显著的性能提升。此外，我们还测量了金融领域的数据缩放定律。我们的工作展示了大型语言模型（LLM）在金融应用中的潜力。

🔬 方法详解

问题定义：论文旨在解决LLM在金融领域应用中，由于缺乏专业金融知识而导致的性能瓶颈问题。现有方法通常难以直接将通用LLM应用于金融任务，需要针对性地进行优化。

核心思路：论文的核心思路是通过在金融领域的数据集上对预训练的LLM进行微调，使其学习到金融领域的专业知识和技能。通过微调，模型能够更好地理解和处理金融相关的文本和数据，从而提高在金融任务中的性能。

技术框架：论文的技术框架主要包括以下几个阶段：1) 选择预训练的LLM作为基础模型，例如Qwen2.5和Deepseek-R1；2) 构建或收集金融领域的数据集，用于微调模型；3) 采用监督微调（SFT）、直接偏好优化（DPO）和强化学习（RL）等技术对模型进行微调；4) 在Open FinLLM排行榜上评估微调后的模型性能。

关键创新：论文的关键创新在于探索了多种微调技术（SFT、DPO、RL）在金融LLM上的应用，并分析了数据规模对模型性能的影响（数据缩放定律）。此外，论文以Open FinLLM排行榜为基准，提供了一个公开的、可复现的评估平台，促进了金融LLM领域的研究。

关键设计：论文中，SFT用于让模型学习金融领域的知识，DPO用于对模型的输出进行排序和优化，RL则用于进一步提升模型的性能。具体参数设置和损失函数选择未知，但论文强调了数据质量和规模的重要性，并对数据缩放定律进行了研究。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过在Open FinLLM排行榜上进行评估，展示了微调后的模型在多个金融任务上的显著性能提升。具体的性能数据和提升幅度未知，但论文强调了微调方法和数据规模对模型性能的重要性，并对金融领域的数据缩放定律进行了初步探索。

🎯 应用场景

该研究成果可应用于智能投顾、风险管理、金融信息抽取、金融文本生成等领域。通过提升LLM在金融领域的专业能力，可以提高金融服务的效率和质量，为金融从业者和投资者提供更智能化的工具和决策支持。未来，该技术有望进一步推动金融行业的智能化转型。

📄 摘要（原文）

This paper investigates the application of large language models (LLMs) to financial tasks. We fine-tuned foundation models using the Open FinLLM Leaderboard as a benchmark. Building on Qwen2.5 and Deepseek-R1, we employed techniques including supervised fine-tuning (SFT), direct preference optimization (DPO), and reinforcement learning (RL) to enhance their financial capabilities. The fine-tuned models demonstrated substantial performance gains across a wide range of financial tasks. Moreover, we measured the data scaling law in the financial domain. Our work demonstrates the potential of large language models (LLMs) in financial applications.