Human-LLM Coevolution: Evidence from Academic Writing

📄 arXiv: 2502.09606v2 📥 PDF

作者: Mingmeng Geng, Roberto Trotta

分类: cs.CL, cs.AI, cs.CY, cs.DL, cs.LG

发布日期: 2025-02-13 (更新: 2025-02-17)

💡 一句话要点

通过分析arXiv摘要，揭示人类作者与LLM在学术写作中的协同进化现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 学术写作 协同进化 词频分析 机器生成文本检测

📋 核心要点

  1. 现有方法难以有效检测学术写作中人与LLM协同进化产生的文本，面临真实场景下的挑战。
  2. 通过分析arXiv摘要中的词频变化，揭示作者如何调整LLM的使用，从而适应LLM的偏好。
  3. 研究表明，人与LLM的协同进化影响了学术写作，并为机器生成文本的检测带来了新的挑战。

📝 摘要（中文）

本文通过对arXiv论文摘要的统计分析，发现自2024年初一些被ChatGPT过度使用的词汇（如“delve”）的频率显著下降，而另一些ChatGPT偏好的词汇（如“significant”）的频率持续上升。这表明学术论文作者已经调整了他们对大型语言模型（LLM）的使用，例如，通过选择输出或修改LLM生成的内容。这种人与LLM的协同进化给真实场景中机器生成文本的检测带来了额外的挑战。通过检查词频来评估LLM对学术写作的影响仍然是可行的，并且应该更多地关注那些已经被频繁使用的词汇，包括那些因LLM不再偏好而频率下降的词汇。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）对学术写作的影响，以及人类作者如何与LLM协同进化。现有方法在检测机器生成文本时，难以应对人类作者对LLM输出进行修改和调整的情况，导致检测准确率下降。现有方法无法有效追踪这种动态变化，需要更细粒度的分析方法。

核心思路：论文的核心思路是通过统计分析arXiv论文摘要中的词频变化，来推断人类作者对LLM的使用方式的调整。通过观察特定词汇（如ChatGPT过度使用的词汇和偏好词汇）的频率变化，来推断人类作者是否在有意识地避免或使用这些词汇，从而揭示人与LLM的协同进化现象。

技术框架：论文的技术框架主要包括以下几个步骤：1) 数据收集：从arXiv收集大量的论文摘要数据。2) 词频统计：统计摘要中各个词汇的频率。3) 趋势分析：分析特定词汇的频率随时间的变化趋势。4) 对比分析：对比ChatGPT过度使用的词汇和偏好词汇的频率变化。5) 推断结论：根据词频变化趋势，推断人类作者对LLM的使用方式的调整。

关键创新：论文的关键创新在于：1) 提出了一种基于词频分析的方法，来研究人与LLM在学术写作中的协同进化现象。2) 通过对arXiv论文摘要的统计分析，揭示了人类作者如何调整LLM的使用，从而适应LLM的偏好。3) 强调了在检测机器生成文本时，需要考虑人与LLM的协同进化因素。

关键设计：论文的关键设计在于选择合适的词汇进行分析，包括ChatGPT过度使用的词汇（如“delve”）和偏好词汇（如“significant”）。通过观察这些词汇的频率变化，可以更准确地推断人类作者对LLM的使用方式的调整。此外，论文还考虑了时间因素，分析词频随时间的变化趋势，从而更准确地揭示人与LLM的协同进化现象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，在2024年初，一些被ChatGPT过度使用的词汇（如“delve”）的频率显著下降，而另一些ChatGPT偏好的词汇（如“significant”）的频率持续上升。这些现象表明，人类作者已经开始有意识地调整他们对LLM的使用，从而适应LLM的偏好。这些发现为理解人与LLM的协同进化提供了重要的证据。

🎯 应用场景

该研究成果可应用于开发更有效的机器生成文本检测方法，尤其是在学术领域。通过考虑人与LLM的协同进化因素，可以提高检测的准确率和鲁棒性。此外，该研究还可以帮助学术作者更好地理解LLM对学术写作的影响，从而更有效地利用LLM来辅助写作。

📄 摘要（原文）

With a statistical analysis of arXiv paper abstracts, we report a marked drop in the frequency of several words previously identified as overused by ChatGPT, such as "delve", starting soon after they were pointed out in early 2024. The frequency of certain other words favored by ChatGPT, such as "significant", has instead kept increasing. These phenomena suggest that some authors of academic papers have adapted their use of large language models (LLMs), for example, by selecting outputs or applying modifications to the LLM-generated content. Such coevolution and cooperation of humans and LLMs thus introduce additional challenges to the detection of machine-generated text in real-world scenarios. Estimating the impact of LLMs on academic writing by examining word frequency remains feasible, and more attention should be paid to words that were already frequently employed, including those that have decreased in frequency due to LLMs' disfavor.