Multiclass Classification of Policy Documents with Large Language Models
作者: Erkan Gunes, Christoffer Koch Florczak
分类: cs.CL
发布日期: 2023-10-12
💡 一句话要点
利用大型语言模型进行政策文件的多类分类
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 政策文件分类 大型语言模型 文本分类 自动化编码 社会科学研究
📋 核心要点
- 现有的文本分类方法在自动化程度和准确性上仍存在不足，尤其是在政策文件的分类任务中。
- 本研究提出利用大型语言模型（LLM）进行政策文件分类，减少人工干预，提高分类效率和准确性。
- 实验结果显示，随着人力干预的增加，分类准确率显著提升，最优场景达到了83%的准确率。
📝 摘要（中文）
对政策文件进行分类一直是政治科学和传播学领域的长期努力。尽管自动文本分类在社会科学研究中取得了显著成果，但仍有很大的进步空间。本研究测试了一种替代策略，使用OpenAI的GPT 3.5和GPT 4模型，将国会法案和听证会分类为比较议程项目的21个主要政策议题。我们提出三种使用场景，准确率在58%到83%之间，表明在最小人力干预的情况下，完全依赖GPT的效果不足，而增加人力干预可提高准确率。最优场景在65%一致数据上达到了83%的准确率，表明该方法可实现大部分数据的自动编码，节省资源。
🔬 方法详解
问题定义：本研究旨在解决政策文件分类的自动化问题，现有方法在准确性和人力成本上存在挑战，尤其是在复杂的政策议题分类中。
核心思路：通过使用预训练的指令调优大型语言模型（如GPT 3.5和GPT 4），减少人工编码的需求，同时保持较高的分类准确性。
技术框架：研究设计了三种使用场景，分别对应最小、中等和大量人力干预，评估不同场景下模型的分类性能。主要模块包括数据准备、模型选择、分类任务执行和结果评估。
关键创新：本研究的创新在于结合大型语言模型与人力干预的灵活性，提出了一种新的分类策略，能够在保持高准确率的同时，减少人工成本。
关键设计：在实验中，采用了不同的模型配置和参数设置，评估了模型在不同场景下的表现，特别关注了人力干预对分类结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在最小人力干预的情况下，模型的准确率为58%，而在大量人力干预的情况下，准确率提升至83%。特别是在65%数据一致的情况下，模型达到了83%的准确率，表明该方法在自动化编码方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括政策分析、社会科学研究和自动化文档处理等。通过实现大规模政策文件的自动分类，可以显著提高研究效率，降低人力成本，为政策制定和评估提供支持。未来，该方法可能扩展到其他领域的文本分类任务。
📄 摘要（原文）
Classifying policy documents into policy issue topics has been a long-time effort in political science and communication disciplines. Efforts to automate text classification processes for social science research purposes have so far achieved remarkable results, but there is still a large room for progress. In this work, we test the prediction performance of an alternative strategy, which requires human involvement much less than full manual coding. We use the GPT 3.5 and GPT 4 models of the OpenAI, which are pre-trained instruction-tuned Large Language Models (LLM), to classify congressional bills and congressional hearings into Comparative Agendas Project's 21 major policy issue topics. We propose three use-case scenarios and estimate overall accuracies ranging from %58-83 depending on scenario and GPT model employed. The three scenarios aims at minimal, moderate, and major human interference, respectively. Overall, our results point towards the insufficiency of complete reliance on GPT with minimal human intervention, an increasing accuracy along with the human effort exerted, and a surprisingly high accuracy achieved in the most humanly demanding use-case. However, the superior use-case achieved the %83 accuracy on the %65 of the data in which the two models agreed, suggesting that a similar approach to ours can be relatively easily implemented and allow for mostly automated coding of a majority of a given dataset. This could free up resources allowing manual human coding of the remaining %35 of the data to achieve an overall higher level of accuracy while reducing costs significantly.