Divergent LLM Adoption and Heterogeneous Convergence Paths in Research Writing

📄 arXiv: 2504.13629v1 📥 PDF

作者: Cong William Lin, Wu Zhu

分类: cs.CL, cs.AI, econ.GN

发布日期: 2025-04-18

💡 一句话要点

研究揭示LLM在学术写作中的差异化应用与风格趋同现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 学术写作 风格分析 文本分类 自然语言处理

📋 核心要点

  1. 现有学术写作风格评估缺乏对LLM影响的细致分析，难以捕捉不同群体的使用差异。
  2. 论文提出一种基于微调LLM的分类框架，用于检测ChatGPT修订文本的风格，从而分析LLM对学术写作的影响。
  3. 研究发现LLM使用在不同群体中存在差异，并促进了学术写作风格的趋同，尤其对早期采用者影响显著。

📝 摘要（中文）

本研究探讨了AI辅助生成式修订对研究手稿的影响，重点关注异构采用模式及其对写作趋同的影响。利用来自arXiv的超过627,000篇学术论文的数据集，我们通过微调提示和学科特定的大型语言模型，开发了一种新颖的分类框架，以检测ChatGPT修订文本的风格。研究结果表明，不同学术学科、性别、母语状态和职业阶段的LLM采用存在显著差异，同时学术写作风格也在迅速演变。此外，LLM的使用提高了清晰度、简洁性和对正式写作规范的遵守程度，改进程度因修订类型而异。最后，差异中的差异分析表明，虽然LLM推动了学术写作的趋同，但早期采用者、男性研究人员、非母语人士和初级学者表现出最明显的风格转变，使其写作更接近于资深研究人员。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM），如ChatGPT，对学术写作风格的影响。现有方法难以准确识别和量化LLM在学术论文修订中的作用，特别是不同背景的研究者对LLM的采用模式及其对写作风格的影响尚不明确。

核心思路：论文的核心思路是利用大量学术论文数据，通过训练特定领域的LLM来识别由ChatGPT等工具修改过的文本，进而分析LLM的使用情况以及对学术写作风格的影响。通过比较不同群体（如不同学科、性别、母语等）的研究者在使用LLM前后的写作风格变化，揭示LLM对学术写作的趋同效应。

技术框架：整体框架包括数据收集、LLM风格分类器训练、LLM使用情况分析和写作风格趋同性分析四个主要阶段。首先，从arXiv收集大量学术论文数据。然后，通过微调prompt和学科特定的LLM，构建一个能够识别ChatGPT修订文本风格的分类器。接着，利用该分类器分析不同群体研究者对LLM的使用情况。最后，采用差异中的差异（difference-in-differences）分析方法，评估LLM对学术写作风格趋同性的影响。

关键创新：论文的关键创新在于提出了一种基于微调LLM的风格分类器，能够有效识别由ChatGPT等工具修改过的学术文本。此外，论文还创新性地利用差异中的差异分析方法，量化了LLM对不同群体研究者写作风格的影响，揭示了LLM在学术写作中的趋同效应。

关键设计：论文的关键设计包括：1) 针对不同学科和prompt微调LLM，以提高风格分类器的准确性；2) 采用差异中的差异分析方法，控制了其他潜在因素对写作风格的影响；3) 细致地分析了不同群体研究者对LLM的使用情况，揭示了LLM使用的差异化模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM的使用提高了学术论文的清晰度、简洁性和对正式写作规范的遵守程度。差异中的差异分析表明，LLM的使用促进了学术写作风格的趋同，早期采用者、男性研究人员、非母语人士和初级学者的写作风格变化最为显著，更接近于资深研究人员的风格。具体性能数据未知，但研究强调了LLM对写作风格的显著影响。

🎯 应用场景

该研究成果可应用于学术出版领域，帮助期刊编辑部了解LLM对学术写作的影响，制定相应的写作规范和伦理准则。此外，该研究还可以为学术写作工具的开发提供指导，使其更好地服务于不同背景的研究者，促进学术交流和知识传播。研究结果对于理解AI技术对学术生态的影响具有重要意义。

📄 摘要（原文）

Large Language Models (LLMs), such as ChatGPT, are reshaping content creation and academic writing. This study investigates the impact of AI-assisted generative revisions on research manuscripts, focusing on heterogeneous adoption patterns and their influence on writing convergence. Leveraging a dataset of over 627,000 academic papers from arXiv, we develop a novel classification framework by fine-tuning prompt- and discipline-specific large language models to detect the style of ChatGPT-revised texts. Our findings reveal substantial disparities in LLM adoption across academic disciplines, gender, native language status, and career stage, alongside a rapid evolution in scholarly writing styles. Moreover, LLM usage enhances clarity, conciseness, and adherence to formal writing conventions, with improvements varying by revision type. Finally, a difference-in-differences analysis shows that while LLMs drive convergence in academic writing, early adopters, male researchers, non-native speakers, and junior scholars exhibit the most pronounced stylistic shifts, aligning their writing more closely with that of established researchers.