Advanced Financial Reasoning at Scale: A Comprehensive Evaluation of Large Language Models on CFA Level III

📄 arXiv: 2507.02954v2 📥 PDF

作者: Pranam Shetty, Abhisek Upadhayaya, Parth Mitesh Shah, Srikanth Jagabathula, Shilpi Nayak, Anna Joo Fee

分类: cs.CL, cs.AI

发布日期: 2025-06-29 (更新: 2025-09-22)

备注: Accepted at FinLLM @ IJCAI 2025

💡 一句话要点

评估大型语言模型在CFA三级考试中的金融推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 金融推理 CFA考试 模型评估 多项选择题 论文评分 提示策略

📋 核心要点

  1. 现有的金融领域模型评估缺乏针对特定领域的严格标准，导致模型在实际应用中的可靠性不足。
  2. 本文提出了一种综合基准评估方法，针对CFA三级考试的多项选择题和论文回答进行评估，采用多种提示策略。
  3. 实验结果显示，领先的LLMs在CFA三级考试中取得了79.1%和77.3%的高分，表明其在金融推理方面的显著进步。

📝 摘要（中文）

随着金融机构越来越多地采用大型语言模型（LLMs），进行严格的领域特定评估变得至关重要。本文提出了一项综合基准，评估23种最先进的LLMs在特许金融分析师（CFA）三级考试中的表现，这是高级金融推理的金标准。我们使用多种提示策略，包括思维链和自我发现，评估多项选择题（MCQs）和论文式回答。结果显示，领先模型在CFA三级考试中表现出强大的能力，综合得分如79.1%（o4-mini）和77.3%（Gemini 2.5 Flash）。这些结果在修订后的严格论文评分方法下取得，表明LLMs在高风险金融应用中的能力显著提升。我们的发现为从业者提供了模型选择的重要指导，并强调了在成本效益部署和对专业基准的细致解读方面仍然存在的挑战。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在金融领域应用中的评估不足，特别是在CFA三级考试这一高风险场景下的表现评估。现有方法缺乏针对特定领域的严格标准，导致模型的实际应用效果不佳。

核心思路：论文提出了一种综合的评估基准，通过对23种最先进的LLMs进行系统性测试，使用多种提示策略来评估其在复杂金融推理任务中的能力。这样的设计旨在确保评估的全面性和准确性。

技术框架：整体架构包括数据收集、模型选择、评估指标设定和结果分析四个主要模块。首先收集CFA三级考试的题目，然后选择23种LLMs进行测试，最后通过严格的评分标准分析其表现。

关键创新：最重要的技术创新在于采用了修订后的严格论文评分方法，提升了评估的准确性和可靠性。这与现有方法的主要区别在于其针对性和系统性。

关键设计：在参数设置上，采用了多种提示策略，如思维链和自我发现，以提高模型的推理能力。此外，评分标准经过修订，以确保对模型输出的准确评估。具体的损失函数和网络结构细节在论文中进行了详细讨论。

📊 实验亮点

实验结果显示，o4-mini模型在CFA三级考试中取得79.1%的得分，而Gemini 2.5 Flash则为77.3%。这些成绩在修订后的严格评分标准下取得，表明LLMs在高风险金融应用中的能力显著提升，具有重要的实用价值。

🎯 应用场景

该研究的潜在应用领域包括金融服务、投资分析和风险管理等。通过提升大型语言模型在金融推理方面的能力，金融机构可以更有效地利用这些模型进行决策支持和客户服务，未来可能推动金融科技的进一步发展。

📄 摘要（原文）

As financial institutions increasingly adopt Large Language Models (LLMs), rigorous domain-specific evaluation becomes critical for responsible deployment. This paper presents a comprehensive benchmark evaluating 23 state-of-the-art LLMs on the Chartered Financial Analyst (CFA) Level III exam - the gold standard for advanced financial reasoning. We assess both multiple-choice questions (MCQs) and essay-style responses using multiple prompting strategies including Chain-of-Thought and Self-Discover. Our evaluation reveals that leading models demonstrate strong capabilities, with composite scores such as 79.1% (o4-mini) and 77.3% (Gemini 2.5 Flash) on CFA Level III. These results, achieved under a revised, stricter essay grading methodology, indicate significant progress in LLM capabilities for high-stakes financial applications. Our findings provide crucial guidance for practitioners on model selection and highlight remaining challenges in cost-effective deployment and the need for nuanced interpretation of performance against professional benchmarks.