Structure First, Reason Next: Enhancing a Large Language Model using Knowledge Graph for Numerical Reasoning in Financial Documents

📄 arXiv: 2601.07754v1 📥 PDF

作者: Aryan Mishra, Akash Anil

分类: cs.CL

发布日期: 2026-01-12

💡 一句话要点

提出一种基于知识图谱增强的大语言模型，用于金融文档中的数值推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数值推理 知识图谱 大型语言模型 金融文档 问答系统

📋 核心要点

  1. 现有LLM在金融文档数值推理中面临挑战，难以准确处理非结构化和半结构化数据中的数值信息。
  2. 该论文提出一种框架，通过知识图谱（KG）增强LLM，利用文档固有的结构化信息辅助数值推理。
  3. 实验结果表明，该框架在FinQA数据集上，相对于原始LLM，执行准确率提高了约12%。

📝 摘要（中文）

数值推理是金融文档分析中的一项重要任务，它有助于理解金融文本并进行数值预测和逻辑推断。近年来，大型语言模型（LLMs）在问答系统中展现出潜力，具备逻辑推理能力。然而，金融文档通常包含冗长且复杂的上下文，LLMs在处理其中的数值数据时面临挑战。从非结构化文本和半结构化表格中提取数值数据，并可靠地执行准确计算，仍然是LLMs在数值推理方面的主要瓶颈。研究表明，知识图谱（KGs）等结构化数据增强可以显著改善LLMs的预测和逻辑解释。因此，在使用LLMs进行金融分析时，考虑金融报告中固有的结构化信息至关重要。本文提出了一种框架，利用KG结合LLM预测来进行数值推理。KG通过从文档中提取的预定义模式构建。在FinQA基准数据集上，使用Llama 3.1 8B Instruct评估了该框架，结果表明，相对于原始LLM，执行准确率提高了约12%。

🔬 方法详解

问题定义：论文旨在解决金融文档中数值推理的难题，现有的大型语言模型在处理金融报告中大量的非结构化和半结构化数据时，难以准确提取数值信息并进行计算，导致推理精度下降。

核心思路：核心思路是利用知识图谱（KG）来增强大型语言模型（LLM）的数值推理能力。通过将文档中的结构化信息提取并构建成KG，为LLM提供更清晰的数值关系和上下文，从而提高推理的准确性。

技术框架：该框架首先从金融文档中提取结构化信息，并按照预定义的模式构建知识图谱。然后，将构建好的KG与LLM结合，用于数值推理任务。具体流程包括：文档解析、KG构建、LLM推理和结果融合。

关键创新：关键创新在于将知识图谱作为一种结构化信息的补充，有效地融入到LLM的数值推理过程中。与直接使用LLM处理原始文档相比，该方法能够更好地利用文档中固有的结构化信息，从而提高推理的准确性。

关键设计：KG的构建基于从文档中提取的预定义模式，这些模式定义了数值之间的关系和上下文。LLM采用Llama 3.1 8B Instruct，通过微调或提示工程使其能够更好地利用KG中的信息。实验中，使用FinQA数据集进行评估，并比较了使用KG增强的LLM与原始LLM的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，提出的基于知识图谱增强的框架在FinQA数据集上显著提高了数值推理的准确性。相对于原始Llama 3.1 8B Instruct模型，该框架的执行准确率提高了约12%。这一结果验证了知识图谱在增强LLM数值推理能力方面的有效性。

🎯 应用场景

该研究成果可应用于自动化金融文档分析、智能财务报表解读、风险评估和投资决策支持等领域。通过提高数值推理的准确性，可以帮助金融从业人员更高效地理解和利用金融数据，从而做出更明智的决策。未来，该方法可以扩展到其他类型的文档和领域，例如医疗报告和法律文件。

📄 摘要（原文）

Numerical reasoning is an important task in the analysis of financial documents. It helps in understanding and performing numerical predictions with logical conclusions for the given query seeking answers from financial texts. Recently, Large Language Models (LLMs) have shown promising results in multiple Question-Answering (Q-A) systems with the capability of logical reasoning. As documents related to finance often consist of long and complex financial contexts, LLMs appear well-suited for building high-quality automated financial question-answering systems. However, LLMs often face challenges in accurately processing the various numbers within financial reports. Extracting numerical data from unstructured text and semi-structured tables, and reliably performing accurate calculations, remains a significant bottleneck for numerical reasoning in most state-of-the-art LLMs. Recent studies have shown that structured data augmentations, such as Knowledge Graphs (KGs), have notably improved the predictions of LLMs along with logical explanations. Thus, it is an important requirement to consider inherent structured information in financial reports while using LLMs for various financial analytics. This paper proposes a framework to incorporate structured information using KGs along with LLM predictions for numerical reasoning tasks. The KGs are extracted using a proposed schema inherently from the document under processing. We evaluated our proposed framework over the benchmark data FinQA, using an open-source LLM, namely Llama 3.1 8B Instruct. We observed that the proposed framework improved execution accuracy by approximately 12% relative to the vanilla LLM.