Dharma, Data and Deception: An LLM-Powered Rhetorical Analysis of Cow-Urine Health Claims on YouTube

📄 arXiv: 2604.22606v1 📥 PDF

作者: Sheza Munir, Ratna Kandala, Anamta Khan, Deepti, Joyojeet Pal

分类: cs.CL

发布日期: 2026-04-24

💡 一句话要点

利用大语言模型对YouTube上牛尿疗效言论进行修辞分析，揭示信息传播策略。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 健康虚假信息 修辞分析 YouTube 文化研究

📋 核心要点

  1. 社交媒体上的健康虚假信息泛滥，尤其是在文化传统与伪科学论断相结合时，亟需有效分析方法。
  2. 本研究利用大语言模型分析YouTube上关于牛尿疗效的讨论，识别视频中使用的修辞策略。
  3. 实验结果表明，推广者和驳斥者使用的修辞策略存在显著差异，且LLM标注结果与人工评估高度一致。

📝 摘要（中文）

本研究关注社交媒体上健康虚假信息这一紧迫挑战，尤其是在文化传统与貌似科学的论断交织时。这些动态不仅是全球性的，也是高度本地化的，体现在需要仔细分析的特定文化争议中。为此，我们研究了100个YouTube视频的文字稿，这些视频推广或驳斥牛尿（gomutra）作为一种健康疗法，重点关注修辞策略，如诉诸权威、疗效诉求和阴谋论框架。我们使用包括GPT-4、GPT-4o、GPT-4.1、GPT-5、Gemini 2.5 Pro和Mistral Medium 3在内的大语言模型（LLM），利用包含14个类别的说服策略分类法对文字稿进行注释。我们的分析表明，推广者主要依赖于疗效诉求和社会证明，而驳斥者则强调权威和反驳。对注释子集的人工评估产生了90.1%的标注者间一致性，证实了我们的分类法和验证过程的可靠性。这项工作推进了用于虚假信息分析的计算方法，并展示了LLM如何支持对在线文化讨论的大规模研究。

🔬 方法详解

问题定义：该论文旨在解决社交媒体上，特别是YouTube上，关于牛尿疗效的虚假信息传播问题。现有方法在处理此类文化背景复杂、修辞策略多样的信息时，缺乏有效的自动化分析工具，人工分析成本高昂且难以规模化。

核心思路：论文的核心思路是利用大语言模型（LLM）的自然语言理解和生成能力，自动识别和分析视频文字稿中的修辞策略。通过构建一个包含14个类别的修辞策略分类法，并训练LLM进行自动标注，从而实现对大规模视频数据的快速分析。

技术框架：整体框架包括以下几个阶段：1) 数据收集：从YouTube收集100个关于牛尿疗效的视频，并提取其文字稿。2) 分类法构建：构建一个包含14个类别的修辞策略分类法，涵盖诉诸权威、疗效诉求、阴谋论框架等。3) LLM标注：使用GPT-4、GPT-4o、GPT-4.1、GPT-5、Gemini 2.5 Pro和Mistral Medium 3等LLM，基于分类法对文字稿进行自动标注。4) 人工评估：对LLM标注结果的子集进行人工评估，计算标注者间一致性，验证LLM标注的可靠性。5) 结果分析：分析LLM标注结果，比较推广者和驳斥者使用的修辞策略差异。

关键创新：该研究的关键创新在于：1) 将LLM应用于文化背景复杂的健康虚假信息分析，探索了LLM在社会科学研究中的潜力。2) 构建了一个针对特定文化议题（牛尿疗效）的修辞策略分类法，为类似研究提供了参考。3) 通过人工评估验证了LLM标注的可靠性，证明了LLM在自动化内容分析方面的有效性。

关键设计：分类法包含14个类别，具体类别名称和定义在论文中详细描述。LLM采用zero-shot或few-shot的方式进行标注，具体prompt设计未详细描述，但强调了prompt工程的重要性。人工评估采用Cohen's Kappa系数计算标注者间一致性，目标是达到较高的agreement。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

人工评估结果显示，LLM标注结果与人工标注之间具有90.1%的标注者间一致性，表明LLM在修辞策略识别方面具有较高的准确性和可靠性。研究还发现，推广牛尿疗效的视频更倾向于使用疗效诉求和社会证明，而驳斥者则更侧重于权威和反驳。

🎯 应用场景

该研究的方法和发现可应用于其他文化相关的健康虚假信息分析，例如传统药物、替代疗法等。该研究有助于开发自动化的虚假信息检测工具，提升社交媒体平台的内容审核效率，并为公众提供更可靠的健康信息。

📄 摘要（原文）

Health misinformation remains one of the most pressing challenges on social media, particularly when cultural traditions intersect with scientific-sounding claims. These dynamics are not only global but also deeply local, manifesting in culturally specific controversies that require careful analysis. Motivated by this, we examine 100 YouTube transcripts that promote or debunk cow urine (gomutra) as a health remedy, focusing on rhetorical strategies such as appeals to authority, efficacy appeals, and conspiracy framing. We employ large language models (LLMs) including GPT-4, GPT-4o, GPT-4.1, GPT-5, Gemini 2.5 Pro, and Mistral Medium 3 to annotate transcripts using a 14-category taxonomy of persuasive tactics. Our analysis reveals that promoters predominantly rely on efficacy appeals and social proof, while debunkers emphasize authority and rebuttal. Human evaluation of a subset of annotations yielded 90.1\% inter-annotator agreement, confirming the reliability of our taxonomy and validation process. This work advances computational methods for misinformation analysis and demonstrates how LLMs can support large-scale studies of cultural discourse online.