Model Misalignment and Language Change: Traces of AI-Associated Language in Unscripted Spoken English

📄 arXiv: 2508.00238v1 📥 PDF

作者: Bryce Anderson, Riley Galpin, Tom S. Juzek

分类: cs.CL, cs.AI

发布日期: 2025-08-01

备注: Accepted at AIES 2025. To appear in the AIES Proceedings. 14 pages, 2 figures, 2 tables. Licensed under CC BY-SA 4.0

💡 一句话要点

分析科技播客语料，揭示AI影响下口语词汇使用的变化趋势

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语言变化 口语分析 词汇趋势 AI影响

📋 核心要点

  1. 现有研究主要关注LLM对书面语言的影响，缺乏对口语中AI相关语言变化的考察。
  2. 该研究通过分析科技播客语料，考察ChatGPT发布前后口语中LLM相关词汇的使用趋势。
  3. 结果表明，口语中LLM相关词汇的使用量显著增加，暗示人类语言与AI模式的融合。

📝 摘要（中文）

近年来，书面语言，尤其是在科学和教育领域，在词汇使用上发生了显著变化。这些变化通常归因于大型语言模型（LLM）日益增长的影响，这些模型通常依赖于独特的词汇风格。模型输出与目标受众规范之间的差异可以被视为一种不对齐的形式。虽然这些变化通常与直接使用人工智能（AI）作为生成文本的工具相关，但这些变化是否反映了人类语言系统本身更广泛的变化仍不清楚。为了探讨这个问题，我们构建了一个包含2210万个单词的数据集，这些单词来自科学和技术对话播客中的非脚本口语。我们分析了ChatGPT于2022年发布前后的词汇趋势，重点关注常用的LLM相关词汇。我们的结果表明，2022年后这些词汇的使用量出现了适度但显著的增长，表明人类的词汇选择与LLM相关的模式之间存在趋同。相比之下，基线同义词没有表现出显著的方向性变化。鉴于时间跨度短和受影响的词汇数量，这可能表明语言使用方面出现了一个显著的变化。这是否代表自然语言的变化，还是由AI暴露驱动的新变化，仍然是一个悬而未决的问题。同样，虽然这些变化可能源于更广泛的采用模式，但也可能是上游训练的不对齐最终导致了人类语言使用的变化。这些发现与不对齐的模型可能塑造社会和道德信仰的伦理问题相似。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）的出现是否以及如何在非脚本口语中留下痕迹。现有研究主要关注LLM对书面语言的影响，忽略了口语中可能存在的类似变化。因此，该研究试图填补这一空白，考察LLM对人类自然语言使用的潜在影响。

核心思路：核心思路是通过分析ChatGPT发布前后口语语料库中特定词汇的使用频率变化，来推断LLM对人类语言的影响。如果人类在口语中开始更多地使用与LLM相关的词汇，则可能表明LLM正在潜移默化地影响人类的语言习惯。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建口语语料库：收集来自科学和技术播客的非脚本对话数据。2) 确定LLM相关词汇：选择一组与LLM输出风格相关的词汇作为研究对象。3) 分析词汇使用趋势：比较ChatGPT发布前后这些词汇在语料库中的使用频率变化。4) 对比基线：选择一组同义词作为基线，以排除一般性的语言变化。

关键创新：该研究的关键创新在于将LLM的影响范围扩展到口语领域，并尝试通过量化词汇使用频率的变化来追踪这种影响。与以往主要关注书面语言的研究不同，该研究关注的是更加自然和未经修饰的口语，更能反映LLM对人类语言的潜在影响。

关键设计：关键设计包括：1) 语料库的选择：选择科学和技术播客，因为这些领域的参与者可能更早接触和使用LLM。2) LLM相关词汇的选择：选择那些在LLM生成文本中常见的、但在传统口语中相对较少的词汇。3) 时间窗口的划分：以ChatGPT发布时间为界，将语料库划分为前后两个时间段，以便比较词汇使用频率的变化。

📊 实验亮点

研究结果显示，在ChatGPT发布后，科技播客的口语中，与LLM相关的词汇使用频率出现了显著的增长。虽然增长幅度不大，但考虑到时间跨度较短，以及影响的词汇数量，这可能预示着语言使用习惯正在发生显著变化。基线同义词没有表现出类似的变化趋势。

🎯 应用场景

该研究的成果可应用于理解AI技术对人类语言和社会文化的影响，为语言教育、人机交互设计以及伦理道德规范提供参考。通过监测语言使用习惯的变化，可以更好地评估和应对AI技术带来的潜在风险和机遇。

📄 摘要（原文）

In recent years, written language, particularly in science and education, has undergone remarkable shifts in word usage. These changes are widely attributed to the growing influence of Large Language Models (LLMs), which frequently rely on a distinct lexical style. Divergences between model output and target audience norms can be viewed as a form of misalignment. While these shifts are often linked to using Artificial Intelligence (AI) directly as a tool to generate text, it remains unclear whether the changes reflect broader changes in the human language system itself. To explore this question, we constructed a dataset of 22.1 million words from unscripted spoken language drawn from conversational science and technology podcasts. We analyzed lexical trends before and after ChatGPT's release in 2022, focusing on commonly LLM-associated words. Our results show a moderate yet significant increase in the usage of these words post-2022, suggesting a convergence between human word choices and LLM-associated patterns. In contrast, baseline synonym words exhibit no significant directional shift. Given the short time frame and the number of words affected, this may indicate the onset of a remarkable shift in language use. Whether this represents natural language change or a novel shift driven by AI exposure remains an open question. Similarly, although the shifts may stem from broader adoption patterns, it may also be that upstream training misalignments ultimately contribute to changes in human language use. These findings parallel ethical concerns that misaligned models may shape social and moral beliefs.