Measuring Sustainability Intention of ESG Fund Disclosure using Few-Shot Learning

📄 arXiv: 2407.06893v1 📥 PDF

作者: Mayank Singh, Nazia Nafis, Abhijeet Kumar, Mridul Mishra

分类: cs.CL, cs.CE

发布日期: 2024-07-09

备注: This paper was presented at 'AI applications in ESG Conference' at IIM Bangalore, India (Nov, 2023)

💡 一句话要点

提出一种基于Few-Shot Learning的ESG基金披露可持续性意图评估方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: ESG基金 可持续性意图 Few-Shot Learning 文本分类 招股说明书

📋 核心要点

  1. 现有ESG基金披露缺乏统一标准，投资者难以评估其真实可持续性意图，存在信息不对称问题。
  2. 利用Few-Shot Learning，模型仅需少量样本即可识别招股说明书中特定、模糊和通用的可持续投资语言。
  3. 实验表明，Few-Shot Learning微调方法显著优于Zero-Shot模型，在精确率、召回率和F1指标上提升超过30%。

📝 摘要（中文）

全球可持续基金领域包括开放式基金和交易所交易基金（ETF），它们通过招股说明书或其他监管文件声称专注于环境、社会和治理（ESG）。然而，这些声明的真实性只能通过检查文本披露来确认是否存在意图以及对投资策略的ESG关注。目前，没有法规强制执行ESG产品的可持续性。本文提出了一种独特的方法和系统，用于对可持续领域中的基金招股说明书进行分类和评分，以评估语言的明确性和透明度。我们旨在利用Few-Shot Learning来识别特定、模糊和通用的可持续投资相关语言。此外，我们构建了一个比率指标来确定语言得分和评级，从而对美国可持续领域的产品进行排名并量化可持续性声明。作为副产品，我们在Hugging Face上发布了一个手动注释的高质量训练数据集（ESG-Prospectus-Clarity-Category，cc-by-nc-sa-4.0），其中包含超过1000个ESG文本语句。我们将Few-Shot Learning微调方法的性能与Zero-Shot模型（例如，Llama-13B，GPT 3.5 Turbo等）进行了比较。我们发现，由于对齐问题，提示大型语言模型对于特定领域的任务并不准确。在完全未见过的ESG语言（测试集）上，Few-Shot Learning微调技术在精确率、召回率和F1指标方面优于Zero-Shot模型，绝对提升超过~30%。总的来说，本文试图建立一种系统且可扩展的方法，以定量地衡量和评估可持续基金招股说明书中文本的可持续性意图。监管机构、投资者和顾问可以利用这项研究的结果来减少在调查或筛选ESG基金时的认知负担，从而准确地反映ESG意图。

🔬 方法详解

问题定义：论文旨在解决ESG基金招股说明书中可持续性意图难以量化评估的问题。现有方法依赖人工审核，效率低且主观性强。大型语言模型在特定领域任务中表现不佳，无法准确识别ESG相关语言的细微差别。因此，需要一种自动、高效且准确的方法来评估ESG基金的可持续性意图。

核心思路：论文的核心思路是利用Few-Shot Learning，通过少量标注数据训练模型，使其能够识别招股说明书中不同类型的可持续投资相关语言（特定、模糊、通用）。这种方法能够克服大型语言模型在特定领域任务中的不足，并减少人工标注的工作量。同时，论文还构建了一个比率指标，用于量化可持续性声明的强度。

技术框架：该方法主要包含以下几个阶段：1) 数据收集与标注：收集ESG基金的招股说明书，并手动标注文本语句的可持续性意图类别。2) 模型选择与微调：选择合适的预训练语言模型，并使用少量标注数据进行Few-Shot Learning微调。3) 语言得分计算：根据模型预测结果，计算每个招股说明书的语言得分，反映其可持续性意图的强度。4) 产品排名与评级：根据语言得分对ESG基金进行排名和评级。

关键创新：该论文的关键创新在于：1) 提出了一种基于Few-Shot Learning的ESG基金可持续性意图评估方法，能够自动、高效且准确地识别招股说明书中的相关语言。2) 构建了一个比率指标，用于量化可持续性声明的强度，为投资者提供更客观的评估依据。3) 发布了一个高质量的ESG文本语句标注数据集，为后续研究提供了宝贵资源。

关键设计：论文的关键设计包括：1) 数据集划分：将标注数据划分为训练集、验证集和测试集，确保模型在未见过的数据上具有良好的泛化能力。2) 模型选择：选择适合Few-Shot Learning的预训练语言模型，例如T5或BART。3) 损失函数：使用交叉熵损失函数来训练模型，优化分类效果。4) 评估指标：使用精确率、召回率和F1指标来评估模型的性能。

📊 实验亮点

实验结果表明，基于Few-Shot Learning的微调方法在ESG文本分类任务中显著优于Zero-Shot模型，在完全未见过的测试集上，精确率、召回率和F1指标均提升超过30%。这表明该方法能够有效识别ESG基金招股说明书中的可持续性意图，为投资者和监管机构提供更准确的评估依据。

🎯 应用场景

该研究成果可应用于多个领域：监管机构可用于监控和评估ESG基金的可持续性声明，确保其符合相关标准；投资者可用于筛选和比较不同的ESG基金，选择符合自身价值观和投资目标的基金；金融顾问可利用该方法为客户提供更专业的ESG投资建议。该研究有助于提高ESG基金市场的透明度和规范性，促进可持续投资的发展。

📄 摘要（原文）

Global sustainable fund universe encompasses open-end funds and exchange-traded funds (ETF) that, by prospectus or other regulatory filings, claim to focus on Environment, Social and Governance (ESG). Challengingly, the claims can only be confirmed by examining the textual disclosures to check if there is presence of intentionality and ESG focus on its investment strategy. Currently, there is no regulation to enforce sustainability in ESG products space. This paper proposes a unique method and system to classify and score the fund prospectuses in the sustainable universe regarding specificity and transparency of language. We aim to employ few-shot learners to identify specific, ambiguous, and generic sustainable investment-related language. Additionally, we construct a ratio metric to determine language score and rating to rank products and quantify sustainability claims for US sustainable universe. As a by-product, we publish manually annotated quality training dataset on Hugging Face (ESG-Prospectus-Clarity-Category under cc-by-nc-sa-4.0) of more than 1K ESG textual statements. The performance of the few-shot finetuning approach is compared with zero-shot models e.g., Llama-13B, GPT 3.5 Turbo etc. We found that prompting large language models are not accurate for domain specific tasks due to misalignment issues. The few-shot finetuning techniques outperform zero-shot models by large margins of more than absolute ~30% in precision, recall and F1 metrics on completely unseen ESG languages (test set). Overall, the paper attempts to establish a systematic and scalable approach to measure and rate sustainability intention quantitatively for sustainable funds using texts in prospectus. Regulatory bodies, investors, and advisors may utilize the findings of this research to reduce cognitive load in investigating or screening of ESG funds which accurately reflects the ESG intention.