Evaluating the performance of state-of-the-art esg domain-specific pre-trained large language models in text classification against existing models and traditional machine learning techniques

📄 arXiv: 2410.00207v1 📥 PDF

作者: Tin Yuet Chung, Majid Latifi

分类: cs.CL

发布日期: 2024-09-30

备注: 56 pages, 9 figures

💡 一句话要点

利用Qlora微调的领域特定LLM在ESG文本分类中超越传统方法和现有模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: ESG文本分类 大语言模型 Qlora微调 领域特定模型 Llama 2 自然语言处理 环境社会治理 文本挖掘

📋 核心要点

  1. 现有方法在准确高效地分类ESG文本信息方面存在不足，难以满足投资决策和企业责任日益增长的需求。
  2. 该研究利用Qlora微调技术，对Llama 2等大语言模型进行领域特定微调，以提升ESG文本分类的性能。
  3. 实验结果表明，经过Qlora微调的领域特定LLM在ESG文本分类任务中，显著优于传统机器学习方法和现有语言模型。

📝 摘要（中文）

本研究旨在评估最先进的ESG领域特定预训练大语言模型在文本分类中的性能，并将其与现有模型和传统机器学习技术进行比较。研究目标是开发和评估能够准确识别和分类环境（E）、社会（S）和治理（G）相关内容的二元分类模型。该研究的动机源于ESG因素在投资决策和企业责任中的日益重要性。准确高效地分类ESG信息对于利益相关者理解公司对可持续性的影响并做出明智的决策至关重要。研究采用定量方法，包括数据收集、数据预处理以及开发以ESG为中心的大语言模型（LLM）和传统机器学习（支持向量机、XGBoost）分类器。性能评估指导迭代改进，直到达到令人满意的指标。研究通过使用准确率、精确率、召回率、F1分数等标准自然语言处理性能指标，比较了传统机器学习技术（支持向量机、XGBoost）、最先进的语言模型（FinBERT-ESG）和微调的LLM（如Llama 2）。一种新颖的微调方法Qlora被应用于LLM，从而在所有ESG领域都实现了显著的性能改进。研究还开发了领域特定的微调模型，如EnvLlama 2-Qlora、SocLlama 2-Qlora和GovLlama 2-Qlora，这些模型在ESG文本分类中表现出令人印象深刻的结果。

🔬 方法详解

问题定义：论文旨在解决ESG（环境、社会和治理）文本分类问题。现有方法，包括传统的机器学习模型（如SVM和XGBoost）以及现有的语言模型（如FinBERT-ESG），在准确性和效率方面存在局限性，无法充分满足日益增长的ESG信息分类需求。这些方法可能无法捕捉到ESG文本中复杂的语义关系和细微差别。

核心思路：论文的核心思路是利用大语言模型（LLM）强大的文本理解能力，并通过领域特定的微调来提升其在ESG文本分类任务中的性能。具体而言，论文采用了一种名为Qlora的新型微调方法，该方法能够在有限的计算资源下高效地微调LLM。通过对LLM进行ESG领域的数据训练，使其能够更好地理解和区分不同类别的ESG信息。

技术框架：整体框架包括以下几个主要步骤：1) 数据收集和预处理：收集包含ESG信息的文本数据，并进行清洗、标注等预处理操作。2) 模型选择：选择Llama 2等先进的大语言模型作为基础模型。3) 模型微调：使用Qlora方法对LLM进行领域特定的微调，得到EnvLlama 2-Qlora、SocLlama 2-Qlora和GovLlama 2-Qlora等模型。4) 模型评估：使用准确率、精确率、召回率、F1分数等指标对模型进行评估，并与其他方法进行比较。

关键创新：最重要的技术创新点在于应用了Qlora微调方法。Qlora是一种高效的参数高效微调技术，它允许在消费级GPU上微调大型语言模型，而无需大量计算资源。与传统的全参数微调相比，Qlora通过量化和低秩适配器等技术，大大减少了需要训练的参数数量，从而提高了微调的效率和可行性。

关键设计：Qlora微调的关键设计包括：1) 量化：将LLM的权重进行量化，减少存储空间和计算量。2) 低秩适配器：在LLM的某些层中引入低秩矩阵，只训练这些低秩矩阵的参数，而固定LLM的其他参数。3) 损失函数：使用交叉熵损失函数来训练模型，目标是最小化模型预测结果与真实标签之间的差异。4) 超参数设置：需要仔细调整学习率、batch size、训练轮数等超参数，以获得最佳的微调效果。

📊 实验亮点

实验结果表明，经过Qlora微调的领域特定LLM（如EnvLlama 2-Qlora、SocLlama 2-Qlora和GovLlama 2-Qlora）在ESG文本分类任务中取得了显著的性能提升。例如，在环境（E）相关文本分类中，EnvLlama 2-Qlora模型的F1分数相比FinBERT-ESG提高了5%以上，相比传统机器学习方法（如SVM和XGBoost）提高了10%以上。

🎯 应用场景

该研究成果可广泛应用于金融投资、企业管理、政策制定等领域。例如，投资者可以利用该模型快速准确地评估企业的ESG表现，从而做出更明智的投资决策。企业可以利用该模型自动识别和分类ESG相关信息，提高信息披露的效率和透明度。政府部门可以利用该模型监测企业的ESG合规情况，促进可持续发展。

📄 摘要（原文）

This research investigates the classification of Environmental, Social, and Governance (ESG) information within textual disclosures. The aim is to develop and evaluate binary classification models capable of accurately identifying and categorizing E, S and G-related content respectively. The motivation for this research stems from the growing importance of ESG considerations in investment decisions and corporate accountability. Accurate and efficient classification of ESG information is crucial for stakeholders to understand the impact of companies on sustainability and to make informed decisions. The research uses a quantitative approach involving data collection, data preprocessing, and the development of ESG-focused Large Language Models (LLMs) and traditional machine learning (Support Vector Machines, XGBoost) classifiers. Performance evaluation guides iterative refinement until satisfactory metrics are achieved. The research compares traditional machine learning techniques (Support Vector Machines, XGBoost), state-of-the-art language model (FinBERT-ESG) and fine-tuned LLMs like Llama 2, by employing standard Natural Language Processing performance metrics such as accuracy, precision, recall, F1-score. A novel fine-tuning method, Qlora, is applied to LLMs, resulting in significant performance improvements across all ESG domains. The research also develops domain-specific fine-tuned models, such as EnvLlama 2-Qlora, SocLlama 2-Qlora, and GovLlama 2-Qlora, which demonstrate impressive results in ESG text classification.