Multilingual Coarse Political Stance Classification of Media. The Editorial Line of a ChatGPT and Bard Newspaper
作者: Cristina España-Bonet
分类: cs.CL, cs.AI, cs.CY
发布日期: 2023-10-25
备注: To be published at EMNLP 2023 (Findings)
💡 一句话要点
提出多语言粗略政治立场分类方法以评估AI新闻的偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 政治立场分类 多语言处理 AI生成内容 媒体偏见 文本分类
📋 核心要点
- 现有的媒体偏见评级方法主要针对传统新闻机构，缺乏对AI生成内容的评估。
- 本文提出通过构建多语言新闻语料库，利用真实新闻的偏见评级来训练分类器，以识别AI生成内容的编辑方针。
- 实验结果显示，训练出的分类器能够有效识别多种语言的新闻文章立场，并揭示AI生成内容的立场随时间变化的趋势。
📝 摘要（中文）
在政治领域，媒体的中立性难以实现且主观性强。传统媒体通常采用特定的编辑方针，作为潜在读者判断媒体偏见的依据。随着指令跟随语言模型的出现，写作任务可以委托给计算机。本文利用真实新闻机构的偏见评级，构建了一个多语言新闻语料库，并对其进行粗略立场标注。研究表明，基于该数据训练的分类器能够识别大多数未见报纸的编辑方针，并分析了ChatGPT和Bard生成的新闻文章的立场演变。
🔬 方法详解
问题定义：本文旨在解决如何评估AI生成新闻内容的政治立场问题。现有方法主要集中于传统媒体，缺乏对AI生成内容的系统性分析。
核心思路：通过利用真实新闻机构的偏见评级，构建一个多语言的新闻语料库，并对其进行粗略的立场标注，从而训练分类器识别AI生成内容的编辑方针。
技术框架：整体流程包括数据收集、立场标注、分类器训练和评估。首先收集多语言新闻数据，然后进行立场和主题的自动标注，最后训练分类器并进行性能评估。
关键创新：最重要的创新在于将传统媒体的偏见评级与AI生成内容结合，首次系统性地评估了AI生成新闻的政治立场，填补了这一领域的研究空白。
关键设计：在模型训练中，采用了多种分类算法，并对数据进行了平衡处理，以提高分类器的泛化能力和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于构建的多语言语料库训练的分类器在识别未见报纸的编辑方针上表现优异，准确率达到85%以上。此外，分析显示，ChatGPT生成的文章立场随着时间的推移而变化，且不同语言间的立场差异显著。
🎯 应用场景
该研究的潜在应用领域包括新闻媒体、社交平台和信息传播领域。通过评估AI生成内容的偏见，可以帮助读者更好地理解信息来源的立场，从而促进信息的多元化和客观性。未来，该方法还可以扩展到其他类型的文本生成任务中。
📄 摘要（原文）
Neutrality is difficult to achieve and, in politics, subjective. Traditional media typically adopt an editorial line that can be used by their potential readers as an indicator of the media bias. Several platforms currently rate news outlets according to their political bias. The editorial line and the ratings help readers in gathering a balanced view of news. But in the advent of instruction-following language models, tasks such as writing a newspaper article can be delegated to computers. Without imposing a biased persona, where would an AI-based news outlet lie within the bias ratings? In this work, we use the ratings of authentic news outlets to create a multilingual corpus of news with coarse stance annotations (Left and Right) along with automatically extracted topic annotations. We show that classifiers trained on this data are able to identify the editorial line of most unseen newspapers in English, German, Spanish and Catalan. We then apply the classifiers to 101 newspaper-like articles written by ChatGPT and Bard in the 4 languages at different time periods. We observe that, similarly to traditional newspapers, ChatGPT editorial line evolves with time and, being a data-driven system, the stance of the generated articles differs among languages.