HRDE: Retrieval-Augmented Large Language Models for Chinese Health Rumor Detection and Explainability

📄 arXiv: 2407.00668v2 📥 PDF

作者: Yanfang Chen, Ding Chen, Shichao Song, Simin Niu, Hanyu Wang, Zeyun Tang, Feiyu Xiong, Zhiyu Li

分类: cs.CL

发布日期: 2024-06-30 (更新: 2024-07-03)

💡 一句话要点

提出HRDE模型，利用检索增强的大语言模型解决中文健康谣言检测与可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 健康谣言检测 检索增强学习 大语言模型 中文自然语言处理 可解释性 HealthRCN数据集 信息检索

📋 核心要点

  1. 现有中文健康谣言研究缺乏大规模、公开的数据集，以及有效可靠的谣言检测方法，限制了相关研究的进展。
  2. 论文提出HRDE模型，通过检索相关信息增强大语言模型的能力，从而更准确地检测中文健康谣言并提供可解释的判断依据。
  3. 实验结果表明，HRDE在谣言检测准确率和答案质量上均优于现有模型，包括GPT-4-1106-Preview，证明了其有效性。

📝 摘要（中文）

本文针对中文健康谣言检测领域缺乏大规模公开数据集和有效检测方法的问题，构建了一个包含112万条健康相关谣言的数据集HealthRCN。基于此数据集，提出了一种检索增强的大语言模型HRDE，用于中文健康谣言检测和可解释性。该模型利用检索到的相关信息来准确判断输入的健康信息是否为谣言，并提供解释性回复，有效帮助用户验证健康信息的真实性。评估实验表明，HRDE在谣言检测准确率和答案质量方面均优于包括GPT-4-1106-Preview在内的多种模型，平均准确率达到91.04%，F1值达到91.58%。

🔬 方法详解

问题定义：当前中文健康谣言检测面临的主要问题是缺乏大规模、公开可用的数据集，以及现有方法在准确性和可解释性方面的不足。用户难以辨别真假信息，容易受到谣言的误导。现有方法可能依赖于人工特征工程或浅层模型，泛化能力和解释性较差。

核心思路：论文的核心思路是利用检索增强的大语言模型，通过检索与待检测健康信息相关的知识，为大语言模型提供更丰富的上下文信息，从而提高谣言检测的准确性和可解释性。这种方法结合了检索的知识性和大语言模型的推理能力。

技术框架：HRDE模型主要包含两个阶段：检索阶段和生成阶段。在检索阶段，模型首先对待检测的健康信息进行编码，然后利用编码向量在HealthRCN数据集中检索相似的健康信息。在生成阶段，模型将检索到的相关信息与待检测的健康信息拼接在一起，作为大语言模型的输入，由大语言模型判断该信息是否为谣言，并生成解释性回复。

关键创新：HRDE的关键创新在于将检索增强技术与大语言模型相结合，用于中文健康谣言检测。通过检索相关信息，模型可以获取更全面的知识，从而提高检测准确率和可解释性。此外，HealthRCN数据集的构建也为中文健康谣言检测研究提供了重要资源。

关键设计：在检索阶段，论文可能采用了余弦相似度或BM25等方法来衡量待检测信息与HealthRCN数据集中信息的相关性。在大语言模型方面，论文可能采用了微调或提示学习等技术，以使模型更好地适应谣言检测任务。损失函数可能包括交叉熵损失函数，用于优化谣言检测的准确率。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HRDE模型在HealthRCN数据集上取得了显著的性能提升，平均准确率达到91.04%，F1值达到91.58%。实验结果表明，HRDE在谣言检测准确率和答案质量方面均优于包括GPT-4-1106-Preview在内的多种模型，证明了检索增强的大语言模型在中文健康谣言检测任务中的有效性。

🎯 应用场景

该研究成果可应用于智能健康助手、在线医疗咨询平台、社交媒体平台等，帮助用户识别和过滤虚假健康信息，提高公众的健康素养。未来，该模型可以扩展到其他语言和领域，例如金融谣言、政治谣言等，具有广泛的应用前景。

📄 摘要（原文）

As people increasingly prioritize their health, the speed and breadth of health information dissemination on the internet have also grown. At the same time, the presence of false health information (health rumors) intermingled with genuine content poses a significant potential threat to public health. However, current research on Chinese health rumors still lacks a large-scale, public, and open-source dataset of health rumor information, as well as effective and reliable rumor detection methods. This paper addresses this gap by constructing a dataset containing 1.12 million health-related rumors (HealthRCN) through web scraping of common health-related questions and a series of data processing steps. HealthRCN is the largest known dataset of Chinese health information rumors to date. Based on this dataset, we propose retrieval-augmented large language models for Chinese health rumor detection and explainability (HRDE). This model leverages retrieved relevant information to accurately determine whether the input health information is a rumor and provides explanatory responses, effectively aiding users in verifying the authenticity of health information. In evaluation experiments, we compared multiple models and found that HRDE outperformed them all, including GPT-4-1106-Preview, in rumor detection accuracy and answer quality. HRDE achieved an average accuracy of 91.04% and an F1 score of 91.58%.