Assessing Generative Language Models in Classification Tasks: Performance and Self-Evaluation Capabilities in the Environmental and Climate Change Domain

📄 arXiv: 2408.17362v1 📥 PDF

作者: Francesca Grasso, Stefano Locci

分类: cs.CL

发布日期: 2024-08-30

备注: 11 pages, to be published in NLDB 2024

💡 一句话要点

评估生成式语言模型在气候变化领域分类任务中的性能与自评估能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 气候变化 文本分类 自评估能力 校准分析 环境领域 生成式模型

📋 核心要点

  1. 现有方法在气候变化和环境领域的文本分类任务中，缺乏对大型生成式语言模型（LLM）的系统性评估。
  2. 论文核心在于对比LLM（GPT3.5、Llama2）和SLM（Gemma）在气候变化文本分类任务中的表现，并评估其自评估能力。
  3. 实验结果表明，BERT模型性能更优，但LLM表现仍具潜力；GPT校准性强，Llama校准性合理，Gemma校准性不稳定。

📝 摘要（中文）

本文评估了两个大型语言模型（LLM）GPT3.5和Llama2，以及一个小语言模型（SLM）Gemma在气候变化和环境领域三个不同分类任务中的性能。我们使用基于BERT的模型作为基线，将它们的性能与这些基于Transformer的模型进行比较。此外，我们通过分析这些文本分类任务中口头置信度评分的校准情况，来评估模型的自评估能力。研究结果表明，虽然基于BERT的模型通常优于LLM和SLM，但大型生成模型的性能仍然值得关注。校准分析显示，Gemma在初始任务中表现良好，但之后的结果不一致；Llama具有合理的校准性，而GPT始终表现出强大的校准性。通过这项研究，我们旨在为关于生成式语言模型在解决地球上一些最紧迫问题中的效用和有效性的讨论做出贡献，强调它们在生态和气候变化背景下的优势和局限性。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）和小语言模型（SLM）在气候变化和环境领域的文本分类任务中的表现。现有方法，特别是基于BERT的模型，虽然在该领域表现良好，但缺乏对新兴的生成式LLM和SLM的系统性评估，以及它们在置信度评估方面的能力。

核心思路：论文的核心思路是对比LLM（GPT3.5、Llama2）和SLM（Gemma）在三个不同的气候变化和环境领域的文本分类任务中的性能，并评估它们自我评估的能力，即模型对自身预测结果的置信度评估。通过与BERT基线模型对比，分析LLM和SLM的优势和局限性。

技术框架：整体框架包括：1) 数据集构建：选择或构建气候变化和环境领域相关的文本分类数据集。2) 模型选择：选择GPT3.5、Llama2和Gemma作为LLM和SLM的代表，并选择BERT模型作为基线。3) 任务定义：定义三个不同的文本分类任务。4) 性能评估：使用标准分类指标（如准确率、精确率、召回率、F1值）评估模型性能。5) 自评估能力评估：分析模型输出的置信度评分的校准情况。

关键创新：论文的关键创新在于系统性地评估了生成式LLM和SLM在气候变化和环境领域文本分类任务中的性能和自评估能力。以往研究较少关注这些模型在该特定领域的表现，以及它们对自身预测结果的置信度评估能力。此外，论文还对比了不同规模模型（LLM和SLM）的性能差异。

关键设计：论文的关键设计包括：1) 选择具有代表性的LLM和SLM，以及合适的基线模型。2) 设计了三个不同的文本分类任务，以覆盖气候变化和环境领域的不同方面。3) 使用校准分析方法评估模型的自评估能力，具体方法未知。4) 详细记录了实验设置和参数，以便于结果复现。

📊 实验亮点

实验结果表明，虽然基于BERT的模型通常优于LLM和SLM，但大型生成模型的性能仍然值得关注。Gemma在初始任务中表现良好，但之后的结果不一致；Llama具有合理的校准性，而GPT始终表现出强大的校准性。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于气候变化和环境领域的自动化文本分类、信息提取和决策支持系统。通过了解不同语言模型在该领域的性能和局限性，可以更好地选择和部署合适的模型，从而提高相关任务的效率和准确性。未来的研究可以进一步探索如何优化LLM和SLM在该领域的应用，例如通过微调或知识蒸馏等技术。

📄 摘要（原文）

This paper examines the performance of two Large Language Models (LLMs), GPT3.5 and Llama2 and one Small Language Model (SLM) Gemma, across three different classification tasks within the climate change (CC) and environmental domain. Employing BERT-based models as a baseline, we compare their efficacy against these transformer-based models. Additionally, we assess the models' self-evaluation capabilities by analyzing the calibration of verbalized confidence scores in these text classification tasks. Our findings reveal that while BERT-based models generally outperform both the LLMs and SLM, the performance of the large generative models is still noteworthy. Furthermore, our calibration analysis reveals that although Gemma is well-calibrated in initial tasks, it thereafter produces inconsistent results; Llama is reasonably calibrated, and GPT consistently exhibits strong calibration. Through this research, we aim to contribute to the ongoing discussion on the utility and effectiveness of generative LMs in addressing some of the planet's most urgent issues, highlighting their strengths and limitations in the context of ecology and CC.