Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models
作者: Patrick Y. Wu, Jonathan Nagler, Joshua A. Tucker, Solomon Messing
分类: cs.CL, cs.CY
发布日期: 2023-10-18 (更新: 2025-06-03)
备注: 10 pages, 2 figures. Appears in 2024 IEEE International Conference on Big Data (BigData). Please cite the published version: 10.1109/BigData62323.2024.10825235
期刊: 2024 IEEE International Conference on Big Data (BigData), Washington, DC, USA, 2024, pp. 7232-7241
DOI: 10.1109/BigData62323.2024.10825235
💡 一句话要点
提出概念引导的链式思维提示以解决文本对比评分问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本评分 大语言模型 模式识别 链式思维 社交媒体分析 政治言论 无监督学习
📋 核心要点
- 现有文本评分方法依赖大量语料，难以处理短文本，且常需手工标注数据，限制了其应用。
- 提出的概念引导的链式思维（CGCoT）方法，通过设计提示与LLM结合，将文本对比转化为模式识别任务。
- 实验结果表明，该方法在与人类判断的相关性上优于传统无监督方法，并在监督设置中表现出色。
📝 摘要（中文）
现有的文本评分方法需要大量语料，难以处理短文本或依赖手工标注数据。本文开发了一种文本评分框架，利用生成性大语言模型（LLMs）将文本置于几乎所有网络和数字媒体的信息背景下，并有效地将文本对比从推理问题转变为模式识别任务。我们的方法——概念引导的链式思维（CGCoT），通过一系列研究者设计的提示与LLM结合，为每个文本生成概念特定的分析，类似于对人类编码者的指导。我们随后使用LLM对分析进行成对比较，并通过概率模型将答案聚合为评分。该方法在分析Twitter上对特定政党的厌恶言论方面表现出色，取得了比广泛使用的无监督文本评分方法如Wordfish更强的相关性。
🔬 方法详解
问题定义：本文旨在解决现有文本评分方法在短文本处理和数据依赖性方面的不足，尤其是对手工标注数据的需求。
核心思路：通过概念引导的链式思维（CGCoT）方法，利用LLM生成文本的概念特定分析，从而将文本对比转化为模式识别任务，降低了对大量标注数据的依赖。
技术框架：该方法包括两个主要阶段：首先，使用设计的提示生成文本的概念分析；其次，利用LLM对这些分析进行成对比较，并通过概率模型聚合结果生成评分。
关键创新：最重要的创新在于将文本对比从推理问题转变为模式识别任务，利用LLM的生成能力和人类专家的设计提示相结合，显著提高了评分的准确性。
关键设计：在设计提示时，研究者结合了领域知识，确保生成的分析具有概念特定性。此外，采用的概率模型有效整合了成对比较的结果，提升了评分的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在与人类判断的相关性上优于传统的无监督文本评分方法Wordfish，且在监督设置中，尽管只使用了小规模的标注数据，预测结果与经过大规模标注的RoBERTa-Large模型相当，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括社交媒体分析、舆情监测和政治言论研究。通过结合人类专家的知识与LLM的生成能力，该方法能够在多种文本评分任务中提供高效、准确的解决方案，具有广泛的实际价值和影响力。
📄 摘要（原文）
Existing text scoring methods require a large corpus, struggle with short texts, or require hand-labeled data. We develop a text scoring framework that leverages generative large language models (LLMs) to (1) set texts against the backdrop of information from the near-totality of the web and digitized media, and (2) effectively transform pairwise text comparisons from a reasoning problem to a pattern recognition task. Our approach, concept-guided chain-of-thought (CGCoT), utilizes a chain of researcher-designed prompts with an LLM to generate a concept-specific breakdown for each text, akin to guidance provided to human coders. We then pairwise compare breakdowns using an LLM and aggregate answers into a score using a probability model. We apply this approach to better understand speech reflecting aversion to specific political parties on Twitter, a topic that has commanded increasing interest because of its potential contributions to democratic backsliding. We achieve stronger correlations with human judgments than widely used unsupervised text scoring methods like Wordfish. In a supervised setting, besides a small pilot dataset to develop CGCoT prompts, our measures require no additional hand-labeled data and produce predictions on par with RoBERTa-Large fine-tuned on thousands of hand-labeled tweets. This project showcases the potential of combining human expertise and LLMs for scoring tasks.