Estimating Contribution Quality in Online Deliberations Using a Large Language Model
作者: Lodewijk Gelauff, Mohak Goyal, Bhargav Dindukurthi, Ashish Goel, Alice Siu
分类: cs.AI, cs.HC
发布日期: 2024-08-21
💡 一句话要点
利用大型语言模型评估在线讨论中贡献质量，提升效率并保持质量。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 在线讨论 贡献质量评估 大型语言模型 自然语言处理 自动评估
📋 核心要点
- 人工评估在线讨论贡献质量成本高、耗时，难以支持大规模应用。
- 利用大型语言模型自动评估贡献的论证、新颖性、扩展性及潜力。
- 实验表明，LLM 性能优于单个人工标注，且推动发言不影响讨论质量。
📝 摘要（中文）
在线讨论能够促进知识、观点和视角的交流，有效缓解两极分化。斯坦福在线讨论平台旨在促进大规模的讨论。该平台支持基于视频的小组结构化议程讨论，无需人工主持人。本文数据来自多个讨论活动，包括与Meta在32个国家合作的项目，以及与美国38所高等院校的合作项目。评估对话中贡献的质量对于评估特征和干预措施的影响至关重要。传统上，这由人工标注员完成，耗时且成本高昂。我们使用大型语言模型（LLM）和八位人工标注员，根据论证、新颖性、对话扩展以及进一步扩展的潜力对贡献进行评分（1-5分）。标注员还为他们的评分提供简短的理由。以其他人工标注员的平均评分作为ground truth，我们发现该模型优于单个人工标注员。虽然人工标注员对在论证方面的评分优于该模型，三人小组在所有四个指标上都优于该模型，但该模型仍然具有竞争力。我们通过评估推动对讨论质量的影响来说明自动质量评分的用处。我们首先观察到，长时间不活动后的个性化推动非常有效，使个人在接下来30秒内请求发言的可能性提高了65%。使用我们的自动质量评估，我们表明，由推动引发的陈述的质量评分与没有推动的陈述相似，这表明推动导致在对话中产生更多想法，而不会降低整体质量。
🔬 方法详解
问题定义：论文旨在解决在线讨论中贡献质量评估的问题。现有方法依赖人工标注，成本高昂且效率低下，难以支持大规模在线讨论平台的应用。人工评估的主观性也可能引入偏差。
核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解和生成能力，自动评估在线讨论中参与者贡献的质量。通过训练LLM模拟人工标注员的评估过程，从而降低成本并提高效率。
技术框架：该方法主要包含以下几个阶段：1) 数据收集：收集来自斯坦福在线讨论平台的大量讨论数据，包括参与者的发言内容和人工标注员的质量评分。2) 特征提取：从发言内容中提取文本特征，例如词频、句法结构等。3) 模型训练：使用提取的特征和人工标注的质量评分训练LLM，使其能够预测发言的质量。4) 质量评估：使用训练好的LLM自动评估新的发言的质量。
关键创新：该方法的主要创新在于将大型语言模型应用于在线讨论贡献质量的自动评估。与传统的人工标注方法相比，该方法具有更高的效率和更低的成本。此外，该方法还可以提供更客观的评估结果，减少人工主观性带来的偏差。
关键设计：论文使用人工标注员对贡献进行四个维度的评分：论证、新颖性、对话扩展以及进一步扩展的潜力，分数范围为1到5。使用这些评分的平均值作为ground truth来训练LLM。论文没有详细说明使用的LLM的具体架构和训练细节，但提到了使用nudges来鼓励参与者发言，并评估这些nudges对讨论质量的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM 在评估在线讨论贡献质量方面表现出色，优于单个的人工标注员。虽然人工标注员对在论证方面的评分优于该模型，三人小组在所有四个指标上都优于该模型，但该模型仍然具有竞争力。此外，研究还发现，通过 nudges 鼓励参与者发言不会降低讨论的整体质量，反而可以促进更多想法的产生。个性化推动使个人在接下来30秒内请求发言的可能性提高了65%。
🎯 应用场景
该研究成果可应用于大规模在线讨论平台，自动评估参与者贡献的质量，从而更好地理解讨论过程、评估干预措施的效果，并为平台管理提供支持。此外，该方法还可推广到其他自然语言处理任务，例如自动评估文章质量、评论情感分析等。
📄 摘要（原文）
Deliberation involves participants exchanging knowledge, arguments, and perspectives and has been shown to be effective at addressing polarization. The Stanford Online Deliberation Platform facilitates large-scale deliberations. It enables video-based online discussions on a structured agenda for small groups without requiring human moderators. This paper's data comes from various deliberation events, including one conducted in collaboration with Meta in 32 countries, and another with 38 post-secondary institutions in the US. Estimating the quality of contributions in a conversation is crucial for assessing feature and intervention impacts. Traditionally, this is done by human annotators, which is time-consuming and costly. We use a large language model (LLM) alongside eight human annotators to rate contributions based on justification, novelty, expansion of the conversation, and potential for further expansion, with scores ranging from 1 to 5. Annotators also provide brief justifications for their ratings. Using the average rating from other human annotators as the ground truth, we find the model outperforms individual human annotators. While pairs of human annotators outperform the model in rating justification and groups of three outperform it on all four metrics, the model remains competitive. We illustrate the usefulness of the automated quality rating by assessing the effect of nudges on the quality of deliberation. We first observe that individual nudges after prolonged inactivity are highly effective, increasing the likelihood of the individual requesting to speak in the next 30 seconds by 65%. Using our automated quality estimation, we show that the quality ratings for statements prompted by nudging are similar to those made without nudging, signifying that nudging leads to more ideas being generated in the conversation without losing overall quality.