Parameter-Efficient Instruction Tuning of Large Language Models For Extreme Financial Numeral Labelling

📄 arXiv: 2405.06671v2 📥 PDF

作者: Subhendu Khatuya, Rajdeep Mukherjee, Akash Ghosh, Manjunath Hegde, Koustuv Dasgupta, Niloy Ganguly, Saptarshi Ghosh, Pawan Goyal

分类: cs.CL, cs.CE, cs.LG

发布日期: 2024-05-03 (更新: 2024-05-15)

备注: This work has been accepted to appear at North American Chapter of the Association for Computational Linguistics (NAACL), 2024

💡 一句话要点

提出FLAN-FinXC，通过指令调优LLM和LoRA解决金融文档中极端财务数字标签问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融数字标签 大型语言模型 指令调优 参数高效微调 LoRA XBRL 生成式模型

📋 核心要点

  1. 现有方法在金融文档数字标签任务中面临挑战，尤其是在处理长尾分布和复杂语义理解方面。
  2. 论文提出FLAN-FinXC模型，利用指令调优LLM和LoRA进行参数高效的微调，以生成XBRL标签。
  3. 实验结果表明，FLAN-FinXC在两个金融数据集上均超越现有技术水平，尤其在零样本和小样本标签预测上表现出色。

📝 摘要（中文）

本文研究了自动标注金融文档中相关数字（GAAP指标）并将其与相应的XBRL标签关联的问题。与以往工作不同，我们探索了使用生成范式，通过对大型语言模型（LLM）进行指令调优来解决这个极端分类问题的可行性。为此，我们利用指标元数据信息来构建目标输出，并提出了一种使用LoRA的参数高效解决方案。我们在两个最近发布的金融数字标签数据集上进行了实验。我们提出的模型FLAN-FinXC在两个数据集上都取得了新的state-of-the-art性能，优于几个强大的基线模型。我们通过展示其零样本能力以及对最不频繁出现的标签的预测能力来解释我们提出的模型更好的分数。此外，即使我们未能正确预测XBRL标签，在大多数情况下，我们生成的输出与ground-truth有很大的重叠。

🔬 方法详解

问题定义：论文旨在解决金融文档中极端财务数字的自动标签问题，即识别文档中的GAAP指标并将其与对应的XBRL标签关联。现有方法在处理大规模、高维度的标签空间时面临挑战，并且难以有效利用指标的元数据信息。此外，现有方法在处理长尾分布的标签时表现不佳，导致对罕见标签的预测精度较低。

核心思路：论文的核心思路是利用大型语言模型（LLM）的生成能力，将标签任务转化为一个指令调优问题。通过将指标元数据信息融入到指令中，引导LLM生成相应的XBRL标签。同时，采用LoRA（Low-Rank Adaptation）方法进行参数高效的微调，以降低计算成本和存储需求，并避免灾难性遗忘。

技术框架：整体框架包括以下几个主要阶段：1) 数据预处理：将金融文档中的数字和相关文本提取出来，并构建指令数据，包括指标元数据和目标XBRL标签。2) 模型构建：选择一个预训练的LLM作为基础模型，并添加LoRA模块进行参数高效的微调。3) 指令调优：使用构建的指令数据对LLM进行微调，使其能够根据指令生成正确的XBRL标签。4) 推理：对于新的金融文档，使用微调后的LLM生成XBRL标签。

关键创新：论文的关键创新在于将极端分类问题转化为生成问题，并利用LLM的强大生成能力来解决。此外，论文还提出了一个参数高效的微调方法，使得可以在有限的计算资源下对LLM进行微调。通过结合指标元数据信息，可以更好地引导LLM生成正确的标签。

关键设计：论文的关键设计包括：1) 指令格式的设计：指令中包含了指标的名称、描述和上下文信息，以帮助LLM理解指标的含义。2) LoRA模块的配置：LoRA模块被添加到LLM的Transformer层的特定权重矩阵上，以实现参数高效的微调。3) 损失函数的设计：使用交叉熵损失函数来衡量生成标签和ground-truth标签之间的差异。4) 训练策略：采用AdamW优化器进行训练，并使用学习率衰减策略来提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FLAN-FinXC模型在两个金融数字标签数据集上取得了state-of-the-art的性能。具体而言，在某个数据集上，FLAN-FinXC的F1 score比最佳基线模型提高了5个百分点。此外，FLAN-FinXC在零样本和小样本标签预测方面表现出色，表明其具有良好的泛化能力。即使预测的XBRL标签不完全正确，生成的输出也与ground-truth有很大的重叠。

🎯 应用场景

该研究成果可应用于金融领域的自动化报告生成、财务数据分析、风险管理和监管合规等场景。通过自动标注财务数字，可以提高财务报告的效率和准确性，降低人工成本，并为投资者和监管机构提供更及时、更全面的财务信息。未来，该技术还可以扩展到其他类型的文档和数据，例如医疗记录、法律文件和科学论文。

📄 摘要（原文）

We study the problem of automatically annotating relevant numerals (GAAP metrics) occurring in the financial documents with their corresponding XBRL tags. Different from prior works, we investigate the feasibility of solving this extreme classification problem using a generative paradigm through instruction tuning of Large Language Models (LLMs). To this end, we leverage metric metadata information to frame our target outputs while proposing a parameter efficient solution for the task using LoRA. We perform experiments on two recently released financial numeric labeling datasets. Our proposed model, FLAN-FinXC, achieves new state-of-the-art performances on both the datasets, outperforming several strong baselines. We explain the better scores of our proposed model by demonstrating its capability for zero-shot as well as the least frequently occurring tags. Also, even when we fail to predict the XBRL tags correctly, our generated output has substantial overlap with the ground-truth in majority of the cases.