Detecting Effects of AI-Mediated Communication on Language Complexity and Sentiment

📄 arXiv: 2504.19556v1 📥 PDF

作者: Kristen Sussman, Daniel Carter

分类: cs.CL, cs.HC

发布日期: 2025-04-28

备注: 5 pages, 3 figures, Companion Proceedings of the ACM Web Conference 2025

DOI: 10.1145/3701716.3717543

💡 一句话要点

通过分析语言复杂度和情感变化，检测AI介导的交流对社交媒体的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI介导交流 社交媒体分析 情感极性分析 语言复杂度 自然语言处理

📋 核心要点

  1. 社交媒体中AI生成内容比例增加，但缺乏有效方法量化AI对语言风格和情感表达的潜在影响。
  2. 通过对比分析不同时期社交媒体文本的语言复杂度和情感极性，推断AI介导交流的影响。
  3. 实验结果表明，社交媒体文本的情感极性显著增加，积极情感表达比例上升，暗示AI的影响。

📝 摘要（中文）

本研究旨在通过分析语言模式随时间的变化，检测人工智能介导的交流（AI-MC）对社交媒体的影响，尤其关注大型语言模型对语言的微妙影响。我们比较了2020年（ChatGPT之前）的970,919条推文数据集与2024年同一时期的20,000条推文，所有推文均提及唐纳德·特朗普在选举期间的情况。通过结合Flesch-Kincaid可读性评分和情感极性评分，我们分析了文本复杂度和情感的变化。研究结果表明，平均情感极性显著增加（0.12 vs. 0.04），并且内容从以中性为主（2020年为54.8%，2024年为39.8%）转变为更积极的表达（28.6%增至45.9%）。这些发现不仅表明人工智能在社交媒体交流中的存在日益增加，还表明其对语言和情感表达模式的影响。

🔬 方法详解

问题定义：本研究旨在量化AI介导的交流对社交媒体语言风格和情感表达的影响。现有方法难以直接检测AI生成内容，也难以区分人类自然语言演变与AI影响。因此，需要一种能够间接推断AI影响的方法。

核心思路：核心思路是通过对比分析不同时间段的社交媒体文本，检测语言复杂度和情感极性的变化。假设AI的介入会导致语言风格和情感表达发生可量化的改变。通过分析这些改变，可以间接推断AI对社交媒体交流的影响。

技术框架：整体框架包括数据收集、预处理、特征提取和分析四个阶段。首先，收集2020年和2024年两个时间段的推文数据，这些推文都提到了唐纳德·特朗普。然后，对数据进行预处理，包括去除噪声和标准化文本。接着，使用Flesch-Kincaid可读性评分计算文本复杂度，并使用情感极性评分分析情感表达。最后，对比分析两个时间段的文本复杂度和情感极性，以检测AI的影响。

关键创新：本研究的关键创新在于利用可读性评分和情感极性评分的变化作为AI影响的间接指标。与直接检测AI生成内容的方法相比，这种方法更加稳健，并且能够捕捉到AI对语言风格和情感表达的微妙影响。

关键设计：关键设计包括选择Flesch-Kincaid可读性评分和情感极性评分作为评估指标。Flesch-Kincaid可读性评分能够有效衡量文本的复杂程度，而情感极性评分能够量化文本的情感倾向。此外，选择提及唐纳德·特朗普的推文作为研究对象，可以控制主题的干扰，提高研究的可靠性。

📊 实验亮点

实验结果表明，2024年推文的平均情感极性显著高于2020年（0.12 vs. 0.04），表明积极情感表达增加。同时，中性内容比例从54.8%下降到39.8%，而积极内容比例从28.6%上升到45.9%，进一步证实了AI对社交媒体情感表达的影响。

🎯 应用场景

该研究成果可应用于社交媒体内容分析、舆情监控、AI内容检测等领域。通过分析语言风格和情感表达的变化，可以更好地理解AI对社会交流的影响，并为制定相关政策提供参考。此外，该方法还可以用于检测虚假信息和网络欺诈。

📄 摘要（原文）

Given the subtle human-like effects of large language models on linguistic patterns, this study examines shifts in language over time to detect the impact of AI-mediated communication (AI- MC) on social media. We compare a replicated dataset of 970,919 tweets from 2020 (pre-ChatGPT) with 20,000 tweets from the same period in 2024, all of which mention Donald Trump during election periods. Using a combination of Flesch-Kincaid readability and polarity scores, we analyze changes in text complexity and sentiment. Our findings reveal a significant increase in mean sentiment polarity (0.12 vs. 0.04) and a shift from predominantly neutral content (54.8% in 2020 to 39.8% in 2024) to more positive expressions (28.6% to 45.9%). These findings suggest not only an increasing presence of AI in social media communication but also its impact on language and emotional expression patterns.