Scientific production in the era of Large Language Models

📄 arXiv: 2601.13187v1 📥 PDF

作者: Keigo Kusumegi, Xinyu Yang, Paul Ginsparg, Mathijs de Vaan, Toby Stuart, Yian Yin

分类: cs.DL, cs.AI, cs.CY, physics.soc-ph

发布日期: 2026-01-19

备注: This is the author's version of the work. The definitive version was published in Science on 18 Dec 2025, DOI: 10.1126/science.adw3000. Link to the Final Published Version: https://www.science.org/doi/10.1126/science.adw3000

期刊: Science, 390(6779), pp.1240-1243 (2025)

DOI: 10.1126/science.adw3000

💡 一句话要点

大型语言模型显著提升科研论文产量，但可能降低论文质量并改变引用模式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科研生产 论文质量 文献引用 学术出版

📋 核心要点

  1. 现有科研论文生产效率较低，写作过程耗时，大型语言模型被引入以提升效率。
  2. 该研究分析了大规模数据集，考察了LLM对论文产量、质量和引用模式的影响。
  3. 实验表明，LLM显著提升了论文产量，但也可能降低论文质量，并改变了引用文献的多样性。

📝 摘要（中文）

大型语言模型（LLMs）正在迅速重塑科学研究。本文通过分析包含210万篇预印本、2.8万份同行评审报告和2.46亿次科学文献在线访问的大规模数据集，研究了这些变化。研究发现：1）采用LLM起草论文的科学家，其论文产量大幅增加，增幅在23.7%-89.3%之间，具体取决于科学领域和作者背景；2）LLM的使用颠覆了写作复杂性和论文质量之间的关系，导致大量语言复杂但内容平庸的稿件涌现；3）LLM使用者访问和引用的先前工作更加多样化，包括书籍和较新的、引用较少的文献。这些发现突显了科学生产中一个惊人的转变，这可能需要期刊、资助机构和终身教职委员会改变评估科学工作的方式。

🔬 方法详解

问题定义：当前科研论文的生产效率存在瓶颈，写作过程耗时费力。现有方法难以有效提升论文产量，同时保证论文质量。此外，科研人员在文献检索和引用方面也存在一定的局限性。

核心思路：该研究的核心思路是通过分析大规模的科研数据，量化大型语言模型（LLMs）对科研论文生产的影响。具体而言，研究考察了LLM对论文产量、写作复杂性与质量的关系，以及文献引用模式的影响。通过对比使用LLM和不使用LLM的科研人员的行为，揭示LLM在科研过程中的作用。

技术框架：该研究的技术框架主要包括以下几个步骤：1）收集大规模的科研数据，包括预印本、同行评审报告和在线访问数据；2）识别使用LLM的科研人员；3）分析LLM的使用对论文产量、写作复杂性和质量的影响；4）分析LLM的使用对文献引用模式的影响。研究使用了统计分析和计量经济学方法来量化这些影响。

关键创新：该研究的关键创新在于：1）首次大规模地量化了LLM对科研论文生产的影响；2）揭示了LLM可能导致论文质量下降的风险；3）发现了LLM改变文献引用模式的现象。这些发现为理解LLM在科研领域的应用提供了重要的 insights。

关键设计：研究的关键设计包括：1）使用多种数据来源来验证研究结果的稳健性；2）控制了作者背景等混淆因素，以确保研究结果的可靠性；3）使用了多种指标来衡量论文的写作复杂性和质量，以全面评估LLM的影响。

📊 实验亮点

研究发现，采用LLM起草论文的科学家，其论文产量大幅增加，增幅在23.7%-89.3%之间，具体取决于科学领域和作者背景。然而，LLM的使用颠覆了写作复杂性和论文质量之间的关系，导致大量语言复杂但内容平庸的稿件涌现。此外，LLM使用者访问和引用的先前工作更加多样化，包括书籍和较新的、引用较少的文献。

🎯 应用场景

该研究结果对科研管理、学术出版和科研伦理具有重要意义。它可以帮助期刊、资助机构和终身教职委员会更好地评估科研工作，制定更合理的评价标准。同时，该研究也提醒科研人员在使用LLM时应注意论文质量，避免过度依赖LLM而忽略了科研的本质。

📄 摘要（原文）

Large Language Models (LLMs) are rapidly reshaping scientific research. We analyze these changes in multiple, large-scale datasets with 2.1M preprints, 28K peer review reports, and 246M online accesses to scientific documents. We find: 1) scientists adopting LLMs to draft manuscripts demonstrate a large increase in paper production, ranging from 23.7-89.3% depending on scientific field and author background, 2) LLM use has reversed the relationship between writing complexity and paper quality, leading to an influx of manuscripts that are linguistically complex but substantively underwhelming, and 3) LLM adopters access and cite more diverse prior work, including books and younger, less-cited documents. These findings highlight a stunning shift in scientific production that will likely require a change in how journals, funding agencies, and tenure committees evaluate scientific works.