A Citation-Grounded Benchmark for Trustworthy Earnings Call Transcript Analysis with Large Language Models
作者: Yingzhu Zhao, Vlad Pandelea, Han Yuan, Bo Hu, Wuqiong Luo, Li Zhang, Zheng Ma
分类: cs.CL, cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出一种基于引用的基准以解决财报分析中的可信度问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 财务分析 大型语言模型 引用性评估 自动化数据集 信息不足
📋 核心要点
- 现有方法在财务分析中缺乏有效的引用支持，导致分析结果难以验证。
- 论文提出了一种无需专家注释的数值证据评估方法，解决了引用性评估的难题。
- 实验证明，LLMs在引用性方面表现良好，但在正确性上存在不足，信息不足是主要挑战。
📝 摘要（中文）
大型语言模型（LLMs）在财务文档分析中越来越受到重视，尤其是在财报电话会议记录（ECTs）的分析中。用户希望通过可验证的引用来支持分析声明，以便进行独立验证。然而，评估这些分析声明通常需要大量专家注释，成本高且难以扩展。此外，现实中的财务分析通常涉及长上下文-问题-答案三元组，增加了任务的复杂性。为了解决这些挑战并评估LLMs在引用分析中的现状，本文提出了一种数值证据评估方法，能够在不依赖专家注释的情况下评估引用性。我们还引入了一种自动化数据集构建流程，并从标准普尔500指数的前100个成分股构建了ECTs-100，以支持引用性和正确性的基准测试。此外，我们考察了“意识到无能”的现象，这是财务分析中的一种实际失败模式，LLMs需要识别可用证据不足的情况，并避免产生无支持的幻觉。实证结果表明，LLMs在引用性方面表现良好，但在正确性方面存在显著局限，信息不足是一个额外挑战。
🔬 方法详解
问题定义：本文旨在解决财报分析中对引用支持的需求，现有方法依赖专家注释，成本高且难以扩展。
核心思路：提出一种数值证据评估方法，能够在不依赖专家的情况下评估LLMs的引用性，旨在提高分析的可信度和可验证性。
技术框架：整体架构包括数据集构建、引用性评估和正确性分析三个主要模块。首先，通过自动化流程构建ECTs-100数据集，然后应用数值证据评估方法进行分析。
关键创新：最重要的创新在于提出了无需专家注释的引用性评估方法，这与现有方法的依赖性形成鲜明对比，显著降低了评估成本。
关键设计：在数据集构建中，选择了标准普尔500指数的前100个成分股，确保数据的代表性；在评估过程中，设计了针对引用性和正确性的评估指标，确保分析的全面性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLMs在引用性评估中表现良好，能够有效识别支持性证据。然而，在正确性方面，LLMs的表现存在明显不足，尤其是在信息不足的情况下，导致了分析结果的幻觉现象。具体性能数据未提供，需进一步研究。
🎯 应用场景
该研究的潜在应用领域包括金融分析、投资决策支持和自动化财务报告生成。通过提高财务分析的可信度和可验证性，能够帮助投资者做出更明智的决策，并推动金融科技的发展。未来，该方法还可以扩展到其他领域的文档分析中，提升分析的准确性和可靠性。
📄 摘要（原文）
Large language models (LLMs) have been increasingly used for financial document analysis, including earnings call transcripts (ECTs). Beyond generating standalone claims, users increasingly prefer grounded analyses that pair claims with verifiable citations from source documents to enable independent validation. However, evaluating such analytical claims typically requires extensive expert annotation, which is costly and difficult to scale, and real-world financial analysis commonly involves long context-question-answer triplets, further increasing task complexity. To address these challenges and benchmark the current landscape of grounded analysis by LLMs, we propose a numeric evidence evaluation method that enables groundedness assessment without reliance on expert annotation. We also introduce an automated dataset construction pipeline and construct ECTs-100 from the top 100 constituents of the S&P 500 to support benchmark of both groundedness and correctness. In addition, we examine conscious incompetence, a practical failure mode in financial analysis in which LLMs must detect when available evidence is insufficient and refrain from producing unsupported hallucinations. Empirical results show that LLMs perform well in groundedness but face notable limitations in correctness, with informational insufficiency presenting an additional challenge.