The Widespread Adoption of Large Language Model-Assisted Writing Across Society

📄 arXiv: 2502.09747v2 📥 PDF

作者: Weixin Liang, Yaohui Zhang, Mihai Codreanu, Jiayu Wang, Hancheng Cao, James Zou

分类: cs.CL

发布日期: 2025-02-13 (更新: 2025-02-17)

💡 一句话要点

分析大型语言模型辅助写作在社会各领域的普及程度与应用模式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 辅助写作 文本分析 社会影响 ChatGPT 自然语言处理 统计分析

📋 核心要点

  1. 现有研究缺乏对LLM辅助写作在社会多领域普及程度的系统性分析，难以准确评估其影响。
  2. 该研究通过分析四大领域的海量文本数据，揭示了LLM辅助写作的普及趋势和应用模式。
  3. 研究发现LLM辅助写作在各领域均有显著应用，但增长趋势已趋于稳定，可能预示着新的发展阶段。

📝 摘要（中文）

本文系统性地分析了大型语言模型（LLM）辅助写作在四个领域（消费者投诉、公司沟通、招聘信息和国际组织新闻稿）的采用模式，时间跨度从2022年1月到2024年9月。数据集包括687,241条消费者投诉、537,413篇公司新闻稿、3.043亿条招聘信息和15,919篇联合国（UN）新闻稿。研究发现，在ChatGPT于2022年11月发布后，LLM的使用量激增。到2024年末，约18%的金融消费者投诉文本似乎是LLM辅助生成的，且在各地区广泛采用，城市地区略高。公司新闻稿中，高达24%的文本可归因于LLM。在招聘信息中，小型公司中LLM辅助写作占比略低于10%，在年轻公司中更为常见。联合国新闻稿也反映了这一趋势，近14%的内容由LLM生成或修改。虽然ChatGPT发布后采用率迅速攀升，但到2024年增长似乎已趋于稳定，这反映了LLM采用的饱和或更高级模型微妙性的提高。研究表明，企业、消费者甚至国际组织在沟通方面大量依赖生成式AI的新现实已经出现。

🔬 方法详解

问题定义：论文旨在量化大型语言模型（LLM）辅助写作在社会不同领域的普及程度。现有方法难以准确识别和量化LLM生成的内容，尤其是在文本风格逐渐融合的情况下。此外，缺乏对不同领域、不同规模组织采用LLM情况的对比分析。

核心思路：论文的核心思路是通过统计分析大规模真实文本数据，识别LLM辅助写作的痕迹，并量化其在不同领域和组织中的应用比例。通过对比ChatGPT发布前后的数据变化，推断LLM的影响。

技术框架：该研究采用人口层面的统计框架，分析四个领域（消费者投诉、公司新闻稿、招聘信息、联合国新闻稿）的海量文本数据。主要流程包括：数据收集与清洗、文本特征提取、LLM辅助写作检测、统计分析与趋势评估。

关键创新：该研究的关键创新在于其大规模、多领域的实证分析，以及对LLM辅助写作普及程度的量化评估。通过对比不同领域和组织的数据，揭示了LLM应用模式的差异性。

关键设计：论文使用了一种稳健的统计方法来推断文本是否由LLM辅助生成，但具体的技术细节（如特征提取方法、分类器选择等）在摘要中未明确说明，属于未知信息。研究关注ChatGPT发布前后文本特征的变化，以此作为LLM影响的指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，ChatGPT发布后，LLM辅助写作在各领域迅速普及。到2024年末，金融消费者投诉文本中约18%由LLM辅助生成，公司新闻稿中高达24%，招聘信息中小公司占比近10%，联合国新闻稿中近14%。虽然增长迅速，但到2024年增长趋势已趋于稳定。

🎯 应用场景

该研究结果可应用于评估生成式AI对社会各领域的影响，为政策制定者提供参考，帮助企业了解LLM的应用趋势，并为AI伦理研究提供数据支持。此外，该研究的方法论可推广至其他生成式AI技术的应用评估。

📄 摘要（原文）

The recent advances in large language models (LLMs) attracted significant public and policymaker interest in its adoption patterns. In this paper, we systematically analyze LLM-assisted writing across four domains-consumer complaints, corporate communications, job postings, and international organization press releases-from January 2022 to September 2024. Our dataset includes 687,241 consumer complaints, 537,413 corporate press releases, 304.3 million job postings, and 15,919 United Nations (UN) press releases. Using a robust population-level statistical framework, we find that LLM usage surged following the release of ChatGPT in November 2022. By late 2024, roughly 18% of financial consumer complaint text appears to be LLM-assisted, with adoption patterns spread broadly across regions and slightly higher in urban areas. For corporate press releases, up to 24% of the text is attributable to LLMs. In job postings, LLM-assisted writing accounts for just below 10% in small firms, and is even more common among younger firms. UN press releases also reflect this trend, with nearly 14% of content being generated or modified by LLMs. Although adoption climbed rapidly post-ChatGPT, growth appears to have stabilized by 2024, reflecting either saturation in LLM adoption or increasing subtlety of more advanced models. Our study shows the emergence of a new reality in which firms, consumers and even international organizations substantially rely on generative AI for communications.