Large Language Models Reveal Information Operation Goals, Tactics, and Narrative Frames

📄 arXiv: 2405.03688v1 📥 PDF

作者: Keith Burghardt, Kai Chen, Kristina Lerman

分类: cs.CL, cs.LG

发布日期: 2024-05-06

备注: 15 pages, 9 figures

💡 一句话要点

利用大型语言模型揭示信息操纵的目标、策略和叙事框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 信息操纵 舆情分析 自然语言处理 GPT-3.5

📋 核心要点

  1. 现有信息操纵分析依赖人工，主观性强，难以全面理解其目标、策略和叙事框架。
  2. 本研究利用 GPT-3.5 分析信息操纵活动，提取目标、策略和叙事框架，实现自动化分析。
  3. 实验表明，GPT-3.5 在信息操纵分析中与人工标注具有较高一致性，能有效提取关键信息。

📝 摘要（中文）

对抗性信息操纵通过破坏公正选举、操纵公众舆论和推广诈骗等手段，可能 destabilize 社会。尽管信息操纵普遍存在且影响巨大，但我们对影响活动的理解受限于人工分析信息和主观解读其可观察行为。本文探讨了是否可以使用大型语言模型（LLM）来缓解这些限制，以 GPT-3.5 为例进行协同活动标注。我们首先使用 GPT-3.5 审查了过去十年中确定的 126 项信息操纵活动。我们使用多种指标来量化 LLM 和真实描述之间的高度（即使不完美）一致性。接下来，我们从 X（前身为 Twitter）的两个大型多语言数据集中提取协同活动，这些数据集分别讨论了 2022 年法国选举和 2023 年 Balikaran 菲律宾-美国军事演习。对于每个协同活动，我们使用 GPT-3.5 分析与特定关注点相关的帖子，并提取关键事件（例如选举日期）之前和之后的目标、策略和叙事框架。虽然 GPT-3.5 有时不同意主观解释，但其总结和解释能力证明了 LLM 有潜力从文本中提取更高阶的指标，从而提供比以前的方法更完整的信息活动图景。

🔬 方法详解

问题定义：论文旨在解决对抗性信息操纵活动的自动化分析问题。现有方法主要依赖人工分析，效率低且主观性强，难以大规模、客观地理解信息操纵活动的目标、策略和叙事框架。因此，需要一种能够自动从文本中提取这些关键信息的方法。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大文本理解和生成能力，将 LLM 作为一种自动化的信息操纵分析工具。通过提示工程，引导 LLM 分析信息操纵活动相关的文本数据，提取出目标、策略和叙事框架等关键要素。这种方法旨在减少人工干预，提高分析效率和客观性。

技术框架：整体框架包括以下几个主要阶段：1) 数据收集：收集与特定信息操纵活动相关的文本数据，例如社交媒体帖子。2) LLM 分析：使用 GPT-3.5 等 LLM 对收集到的文本数据进行分析，通过提示工程引导 LLM 提取目标、策略和叙事框架。3) 结果评估：将 LLM 的分析结果与人工标注的真实情况进行比较，评估 LLM 的性能。4) 案例研究：针对具体的事件（例如选举、军事演习），分析 LLM 提取的信息操纵活动在关键事件前后发生的变化。

关键创新：论文的关键创新在于将 LLM 应用于信息操纵活动的自动化分析。与传统的人工分析方法相比，LLM 能够大规模、高效地处理文本数据，并提取出更高阶的指标，从而提供更全面、客观的信息活动图景。此外，论文还探索了如何通过提示工程来引导 LLM 完成特定的分析任务。

关键设计：论文的关键设计包括：1) 提示工程：设计合适的提示语，引导 GPT-3.5 提取目标、策略和叙事框架。提示语的设计需要考虑到信息操纵活动的特点，以及 LLM 的文本理解能力。2) 评估指标：选择合适的评估指标，量化 LLM 的分析结果与人工标注之间的差异。3) 数据集选择：选择具有代表性的信息操纵活动数据集，例如涉及选举和军事演习的数据集。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GPT-3.5 在信息操纵分析中与人工标注具有较高的一致性。通过对 2022 年法国选举和 2023 年 Balikaran 菲律宾-美国军事演习相关数据的分析，GPT-3.5 能够有效提取信息操纵活动的目标、策略和叙事框架，并揭示其在关键事件前后的变化。

🎯 应用场景

该研究成果可应用于舆情监控、网络安全、选举安全等领域。通过自动化分析信息操纵活动，可以帮助政府、媒体和公众更好地了解信息操纵的手段和目的，从而采取有效的应对措施，维护社会稳定和公平。

📄 摘要（原文）

Adversarial information operations can destabilize societies by undermining fair elections, manipulating public opinions on policies, and promoting scams. Despite their widespread occurrence and potential impacts, our understanding of influence campaigns is limited by manual analysis of messages and subjective interpretation of their observable behavior. In this paper, we explore whether these limitations can be mitigated with large language models (LLMs), using GPT-3.5 as a case-study for coordinated campaign annotation. We first use GPT-3.5 to scrutinize 126 identified information operations spanning over a decade. We utilize a number of metrics to quantify the close (if imperfect) agreement between LLM and ground truth descriptions. We next extract coordinated campaigns from two large multilingual datasets from X (formerly Twitter) that respectively discuss the 2022 French election and 2023 Balikaran Philippine-U.S. military exercise in 2023. For each coordinated campaign, we use GPT-3.5 to analyze posts related to a specific concern and extract goals, tactics, and narrative frames, both before and after critical events (such as the date of an election). While the GPT-3.5 sometimes disagrees with subjective interpretation, its ability to summarize and interpret demonstrates LLMs' potential to extract higher-order indicators from text to provide a more complete picture of the information campaigns compared to previous methods.