Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

📄 arXiv: 2502.18772v1 📥 PDF

作者: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou

分类: cs.CL

发布日期: 2025-02-26

备注: 18 pages, 6 figures

💡 一句话要点

提出Plutus-ben基准和Plutus-8B模型，填补了低资源希腊金融领域大语言模型研究的空白。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 希腊语金融NLP 大型语言模型 基准数据集 领域特定模型 命名实体识别

📋 核心要点

  1. 现有大型语言模型在希腊金融领域的应用受限于希腊语的复杂性和领域数据集的匮乏。
  2. 论文提出Plutus-ben基准和Plutus-8B模型，利用领域数据微调，解决希腊金融NLP任务。
  3. 实验评估了22个LLM，揭示了希腊金融NLP的挑战，并强调了领域知识的重要性。

📝 摘要（中文）

由于希腊语的语言复杂性和领域特定数据集的稀缺性，大型语言模型（LLMs）在希腊金融领域的应用仍然不足。为了弥补这一差距，我们推出了首个希腊金融评估基准Plutus-ben和首个希腊金融LLM Plutus-8B，该模型使用希腊领域特定数据进行微调。Plutus-ben解决了希腊语中的五个核心金融NLP任务：数值和文本命名实体识别、问答、抽象摘要和主题分类，从而促进了对LLM的系统和可重复评估。为了支持这些任务，我们提供了三个由希腊语母语专家注释的高质量希腊金融数据集，并结合了两个现有资源。对Plutus-ben上22个LLM的全面评估表明，由于语言复杂性、领域特定术语和金融推理差距，希腊金融NLP仍然具有挑战性。这些发现强调了跨语言迁移的局限性、希腊训练模型中金融专业知识的必要性以及将金融LLM适应希腊文本的挑战。我们公开发布Plutus-ben、Plutus-8B和所有相关数据集，以促进可重复的研究并推进希腊金融NLP，从而在金融领域促进更广泛的多语言包容性。

🔬 方法详解

问题定义：论文旨在解决希腊语金融领域缺乏专门的基准数据集和预训练语言模型的问题。现有方法在跨语言迁移方面存在局限性，无法充分利用希腊语的语言特性和金融领域的专业知识，导致在希腊语金融NLP任务上的表现不佳。

核心思路：论文的核心思路是构建高质量的希腊语金融数据集，并在此基础上微调一个专门的希腊语金融语言模型。通过领域特定的数据训练，使模型能够更好地理解和处理希腊语金融文本，从而提高在相关任务上的性能。

技术框架：整体框架包括以下几个主要部分：1) 构建Plutus-ben基准数据集，包含数值和文本命名实体识别、问答、抽象摘要和主题分类等任务；2) 利用收集到的希腊语金融数据对一个预训练语言模型进行微调，得到Plutus-8B模型；3) 在Plutus-ben基准上评估Plutus-8B模型以及其他21个LLM的性能。

关键创新：论文的关键创新在于构建了首个希腊金融评估基准Plutus-ben和首个希腊金融LLM Plutus-8B。这填补了该领域的研究空白，为后续研究提供了基础。此外，论文还强调了领域特定数据和语言特性在金融NLP中的重要性。

关键设计：Plutus-ben基准数据集包含三个新的高质量希腊金融数据集，并结合了两个现有资源。数据集由希腊语母语专家进行标注，保证了数据的质量。Plutus-8B模型通过在希腊语金融数据上微调一个80亿参数的预训练模型得到，具体的微调策略和超参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文对22个LLM在Plutus-ben基准上进行了全面评估，结果表明，专门针对希腊语金融数据进行微调的Plutus-8B模型在多个任务上取得了显著的性能提升。实验结果强调了领域特定数据和语言特性在金融NLP中的重要性，并揭示了现有LLM在处理希腊语金融文本时面临的挑战。

🎯 应用场景

该研究成果可应用于希腊金融领域的各种NLP任务，例如金融信息提取、风险评估、客户服务等。Plutus-ben基准可以作为评估和比较不同LLM在希腊金融领域性能的标准，促进相关技术的发展。Plutus-8B模型可以直接应用于实际场景，提高希腊语金融文本处理的效率和准确性。

📄 摘要（原文）

Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.