Bridging the Gap: Leveraging Retrieval-Augmented Generation to Better Understand Public Concerns about Vaccines

📄 arXiv: 2507.12840v1 📥 PDF

作者: Muhammad Javed, Sedigh Khademi Habibabadi, Christopher Palmer, Hazel Clothier, Jim Buttery, Gerardo Luis Dimaguila

分类: cs.IR, cs.LG, cs.SI

发布日期: 2025-07-17

💡 一句话要点

利用检索增强生成技术(RAG)更深入理解公众对疫苗的担忧

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 疫苗犹豫 公共卫生 社交媒体分析 大型语言模型

📋 核心要点

  1. 传统方法难以捕捉社交媒体上公众对疫苗担忧的细微观点，大型语言模型(LLM)存在忽略时事和产生幻觉的问题。
  2. 论文提出VaxPulse Query Corner工具，利用检索增强生成(RAG)技术，从在线平台检索相关信息，辅助LLM生成更准确的答案。
  3. 通过分析35,103条Shingrix社交媒体帖子，VaxPulse Query Corner工具在答案忠实度和相关性方面表现出色。

📝 摘要（中文）

疫苗犹豫是公共健康的威胁，会导致疫苗接种的延迟或拒绝。社交媒体是理解公众担忧的重要来源，但传统的主题建模方法难以捕捉细微的观点。大型语言模型(LLM)虽然经过查询应答训练，但常常忽略时事和社区关注点。此外，LLM中的幻觉会损害公共卫生沟通。为了解决这些局限性，我们开发了一个名为VaxPulse Query Corner的工具，它使用检索增强生成技术。该工具能够处理关于各种在线平台上公众疫苗担忧的复杂查询，帮助公共卫生管理者和利益相关者了解公众的担忧，并实施有针对性的干预措施，以提高疫苗信心。对35,103条Shingrix社交媒体帖子进行分析后，该工具实现了0.96的答案忠实度和0.94的相关性。

🔬 方法详解

问题定义：论文旨在解决公共卫生领域中，如何有效理解和应对公众对疫苗的担忧这一问题。现有方法，如传统的主题建模，难以捕捉社交媒体上细微的观点。而大型语言模型虽然强大，但存在忽略时事、社区关注点以及产生幻觉的风险，这些都会影响公共卫生信息的准确传播。

核心思路：论文的核心思路是利用检索增强生成（RAG）技术，弥补大型语言模型在知识更新和事实核查方面的不足。通过检索与用户查询相关的外部知识，为LLM提供更可靠的上下文信息，从而生成更准确、更可信的答案。

技术框架：VaxPulse Query Corner工具主要包含以下几个模块：1) 数据收集模块，负责从社交媒体平台收集与疫苗相关的帖子；2) 检索模块，根据用户提出的问题，从收集到的数据中检索相关信息；3) 生成模块，利用大型语言模型，结合检索到的信息，生成答案；4) 评估模块，评估生成答案的忠实度和相关性。

关键创新：该方法的关键创新在于将检索增强生成技术应用于公共卫生领域，特别是针对疫苗犹豫这一问题。通过检索外部知识，有效缓解了LLM的幻觉问题，提高了答案的准确性和可信度。此外，该工具能够处理复杂的查询，并提供有针对性的信息，帮助公共卫生管理者更好地了解公众的担忧。

关键设计：论文中未明确说明具体的参数设置、损失函数、网络结构等技术细节。但可以推断，检索模块可能采用了基于向量相似度的检索方法，生成模块可能使用了预训练的语言模型，并通过微调来适应疫苗相关领域的知识。评估模块可能使用了人工评估或自动评估指标，如ROUGE、BLEU等，来衡量答案的忠实度和相关性。

📊 实验亮点

实验结果表明，VaxPulse Query Corner工具在分析Shingrix疫苗相关的社交媒体帖子时，实现了0.96的答案忠实度和0.94的相关性。这些数据表明，该工具能够有效地理解公众的担忧，并提供准确、相关的答案，优于传统方法和未经RAG增强的LLM。

🎯 应用场景

该研究成果可应用于公共卫生领域，帮助卫生部门和医疗机构更好地了解公众对疫苗的担忧，制定更有针对性的宣传策略，提高疫苗接种率。此外，该方法还可以推广到其他公共健康议题，例如疫情期间的公众情绪分析、健康谣言识别等，具有广泛的应用前景。

📄 摘要（原文）

Vaccine hesitancy threatens public health, leading to delayed or rejected vaccines. Social media is a vital source for understanding public concerns, and traditional methods like topic modelling often struggle to capture nuanced opinions. Though trained for query answering, large Language Models (LLMs) often miss current events and community concerns. Additionally, hallucinations in LLMs can compromise public health communication. To address these limitations, we developed a tool (VaxPulse Query Corner) using the Retrieval Augmented Generation technique. It addresses complex queries about public vaccine concerns on various online platforms, aiding public health administrators and stakeholders in understanding public concerns and implementing targeted interventions to boost vaccine confidence. Analysing 35,103 Shingrix social media posts, it achieved answer faithfulness (0.96) and relevance (0.94).