Filter bubbles and affective polarization in user-personalized large language model outputs
作者: Tomo Lazovich
分类: cs.CY, cs.CL, cs.LG
发布日期: 2023-10-31
备注: Accepted to NeurIPS 2023 Workshop "I Can't Believe It's Not Better: Failure Modes in the Age of Foundation Models"
💡 一句话要点
探讨用户个性化大语言模型输出中的过滤气泡与情感极化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化推荐 情感极化 过滤气泡 大语言模型 政治倾向 信息偏见 社交媒体
📋 核心要点
- 个性化推荐系统可能导致过滤气泡和情感极化，影响用户对信息的全面理解。
- 通过在询问事实问题前引入用户的政治倾向，研究如何影响大型语言模型的输出结果。
- 实验结果显示，用户的政治倾向显著影响模型输出的内容，存在偏向性信息传递。
📝 摘要（中文）
随着大型语言模型（LLMs）的发展，模型输出的个性化程度不断提高。然而，个性化推荐系统可能导致过滤气泡和情感极化现象。本文研究了在询问公共人物和组织的事实问题时，用户的政治倾向如何影响ChatGPT-3.5的输出结果。研究发现，左倾用户更倾向于接收到关于左倾政治人物的积极陈述，而右倾用户则更倾向于接收到关于右倾实体的积极信息。这一现象在多个政治候选人和媒体组织中均得到了验证，表明个性化LLMs可能加剧情感极化和过滤气泡的风险。
🔬 方法详解
问题定义：本文旨在探讨个性化大型语言模型输出如何导致过滤气泡和情感极化，现有方法未能有效识别和控制这种偏见。
核心思路：通过在询问事实问题前引入用户的政治倾向，分析模型输出的变化，揭示个性化对信息传递的影响。
技术框架：研究使用ChatGPT-3.5模型，首先获取用户的政治倾向，然后进行事实性问题的询问，比较不同倾向用户的输出结果。
关键创新：本研究首次系统性地分析了大型语言模型在个性化设置下的输出偏见，揭示了与传统推荐系统相似的风险。
关键设计：在实验中，设置了不同的用户政治倾向，并对输出内容进行定性分析，关注信息的选择性呈现。通过对比分析，评估了模型输出的偏向性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，左倾用户收到的关于左倾政治人物的积极陈述比例显著高于右倾用户，反之亦然。这一现象在多个政治候选人和媒体组织中均得到了验证，强调了个性化输出的潜在偏见问题。
🎯 应用场景
该研究对个性化大语言模型的应用具有重要意义，尤其是在社交媒体、新闻推荐和在线教育等领域。通过识别和控制输出偏见，可以提升信息的多样性和公正性，减少情感极化的风险，促进更健康的公共讨论环境。
📄 摘要（原文）
Echoing the history of search engines and social media content rankings, the advent of large language models (LLMs) has led to a push for increased personalization of model outputs to individual users. In the past, personalized recommendations and ranking systems have been linked to the development of filter bubbles (serving content that may confirm a user's existing biases) and affective polarization (strong negative sentiment towards those with differing views). In this work, we explore how prompting a leading large language model, ChatGPT-3.5, with a user's political affiliation prior to asking factual questions about public figures and organizations leads to differing results. We observe that left-leaning users tend to receive more positive statements about left-leaning political figures and media outlets, while right-leaning users see more positive statements about right-leaning entities. This pattern holds across presidential candidates, members of the U.S. Senate, and media organizations with ratings from AllSides. When qualitatively evaluating some of these outputs, there is evidence that particular facts are included or excluded based on the user's political affiliation. These results illustrate that personalizing LLMs based on user demographics carry the same risks of affective polarization and filter bubbles that have been seen in other personalized internet technologies. This ``failure mode" should be monitored closely as there are more attempts to monetize and personalize these models.