Reinforcement Tuning for Detecting Stances and Debunking Rumors Jointly with Large Language Models

📄 arXiv: 2406.02143v1 📥 PDF

作者: Ruichao Yang, Wei Gao, Jing Ma, Hongzhan Lin, Bo Wang

分类: cs.CL

发布日期: 2024-06-04

备注: ACL 2024 (Findings)

💡 一句话要点

提出基于强化学习微调的大语言模型框架JSDRV，联合检测立场并证伪谣言

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 立场检测 谣言验证 大语言模型 强化学习 微调 自然语言处理 社交媒体 信息安全

📋 核心要点

  1. 现有联合立场检测和谣言验证模型训练依赖大量标注数据，而获取这些数据成本高昂，成为研究瓶颈。
  2. 论文提出一种基于强化学习的微调框架，利用大语言模型作为标注器，并通过策略选择高质量标注数据。
  3. 实验结果表明，该方法在联合任务中显著提升了大语言模型的性能，并能泛化到其他模型。

📝 摘要（中文）

本文针对联合立场检测(SD)和谣言验证(RV)任务，由于缺乏帖子级别的立场标注和声明级别的谣言真实性标注数据，提出了一个新颖的强化学习微调框架JSDRV，以增强基于大语言模型(LLM)的SD和RV组件的联合预测能力。具体而言，设计了一种策略，用于选择LLM标注的两级数据，并采用混合奖励机制来选择高质量的标签，从而有效地对LLM进行微调。实验结果表明，JSDRV提高了LLM在联合任务中的能力，不仅优于最先进的方法，而且可以推广到作为任务模型的非LLM。

🔬 方法详解

问题定义：论文旨在解决联合立场检测（Stance Detection, SD）和谣言验证（Rumor Verification, RV）任务中，缺乏大规模标注数据的难题。现有方法通常需要大量的帖子级别立场标注和声明级别的谣言真实性标注，而这些数据的获取成本很高，限制了模型性能的提升。

核心思路：论文的核心思路是利用大语言模型（Large Language Models, LLMs）作为基础标注器，自动生成训练数据，并通过强化学习（Reinforcement Learning）选择高质量的标注数据进行微调。这样可以避免人工标注的成本，并充分利用LLM的知识和推理能力。

技术框架：整体框架包含以下几个主要模块：1) LLM标注器：使用LLM对未标注的数据进行立场和谣言真实性标注。2) 强化学习策略：设计一个强化学习策略，用于选择LLM标注的高质量数据。该策略基于一个混合奖励机制，综合考虑标注的置信度和一致性。3) LLM微调：使用强化学习选择的数据对LLM进行微调，提升其在联合立场检测和谣言验证任务上的性能。4) 任务模型：将微调后的LLM作为任务模型，或者将其知识迁移到其他模型（例如，非LLM模型）。

关键创新：论文的关键创新在于提出了一个基于强化学习的微调框架，可以有效地利用LLM作为标注器，并选择高质量的标注数据进行模型训练。这种方法避免了人工标注的成本，并充分利用了LLM的知识和推理能力。此外，混合奖励机制的设计也保证了选择的数据具有较高的质量和一致性。

关键设计：在强化学习策略中，使用了混合奖励机制，该机制综合考虑了LLM标注的置信度和一致性。具体来说，置信度可以通过LLM输出的概率值来衡量，一致性可以通过比较不同LLM标注结果的一致性来衡量。此外，论文还设计了一个特定的奖励函数，用于指导强化学习策略的学习过程。在LLM微调过程中，使用了交叉熵损失函数，并采用Adam优化器进行参数更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，JSDRV框架显著提升了LLM在联合立场检测和谣言验证任务上的性能，优于现有的最先进方法。更重要的是，JSDRV框架具有良好的泛化能力，可以将LLM的知识迁移到非LLM模型上，进一步提升了模型的实用性。具体的性能提升数据在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核、舆情监控和虚假信息检测等领域。通过自动检测用户发布的帖子立场和谣言真实性，可以有效减少虚假信息的传播，维护网络空间的健康秩序，并为公众提供更可靠的信息来源。未来，该技术还可扩展到其他自然语言处理任务，例如情感分析、文本分类等。

📄 摘要（原文）

Learning multi-task models for jointly detecting stance and verifying rumors poses challenges due to the need for training data of stance at post level and rumor veracity at claim level, which are difficult to obtain. To address this issue, we leverage large language models (LLMs) as the foundation annotators for the joint stance detection (SD) and rumor verification (RV) tasks, dubbed as JSDRV. We introduce a novel reinforcement tuning framework to enhance the joint predictive capabilities of LLM-based SD and RV components. Specifically, we devise a policy for selecting LLM-annotated data at the two levels, employing a hybrid reward mechanism to choose high-quality labels for effective LLM fine-tuning on both tasks. Results demonstrate that JSDRV improves the capabilities of LLMs in the joint tasks, not only outperforming state-of-the-art methods but also generalizing to non-LLMs accommodated as task models.