Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing

📄 arXiv: 2610.11599v1 📥 PDF

作者: Kazuki Nakajima, Takayuki Mizuno

分类: cs.CL, cs.AI, cs.CY, cs.DL, cs.SI

发布日期: 2026-10-08

💡 一句话要点

量化大语言模型更迭对科学写作筛选的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 科学写作 稿件筛查 研究诚信 模型更迭

📋 核心要点

  1. 现有的稿件筛查方法依赖于固定版本的基准评估，无法适应快速变化的LLM版本，导致筛查准确性下降。
  2. 本文提出了一种量化LLM更迭对科学写作筛查影响的方法，通过训练不同版本的检测器来评估其性能。
  3. 实验结果表明，基于历史版本训练的检测器在模型代际交界处表现不佳，且漏检率高达33%或更多，显示出现有方法的局限性。

📝 摘要（中文）

随着期刊和会议开始筛查使用大语言模型（LLMs）撰写的稿件，筛查的可靠性依赖于对固定版本的基准评估。然而，实际使用的版本不断变化。本文量化了LLM更迭如何影响科学稿件的筛查。我们将4000个来自《美国国家科学院院刊》的摘要与23个不同版本的LLM重写进行配对，并在不同的维护场景下训练检测器。结果显示，仅基于过去版本训练的检测器在模型代际交界处会出现性能崩溃，且后续版本的检测器也可能漏掉早期版本的重写。研究表明，检测器的基准准确性应视为临时性，需在每次LLM发布时重新验证。

🔬 方法详解

问题定义：本文旨在解决大语言模型（LLMs）版本更迭对科学写作筛查准确性的影响。现有方法依赖于固定版本的基准评估，无法适应不断变化的模型版本，导致检测器性能不稳定。

核心思路：通过量化不同版本LLM的重写效果，训练检测器在不同维护场景下的表现，以评估其在实际应用中的可靠性。这样设计的目的是为了揭示版本更迭对检测准确性的具体影响。

技术框架：整体架构包括数据收集、模型重写配对、检测器训练和性能评估四个主要模块。首先收集4000个摘要，然后与23个LLM版本的重写进行配对，最后训练检测器并评估其在不同场景下的表现。

关键创新：最重要的技术创新在于量化了LLM版本更迭对检测器性能的影响，揭示了在模型代际交界处的性能崩溃现象。这一发现与现有方法的本质区别在于强调了动态更新的重要性。

关键设计：在训练过程中，设置了不同的维护场景，包括每次新版本发布时重新训练和仅基于历史版本训练的检测器。损失函数和网络结构的具体细节未在摘要中详细说明，需参考原文以获取更多信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，基于历史版本训练的检测器在模型代际交界处的准确性显著下降，错误标记率高达1%，而在最新版本的重写中漏检率高达33%。这些结果强调了持续更新检测器的重要性。

🎯 应用场景

该研究的潜在应用领域包括科学出版、学术诚信和人工智能辅助写作工具。通过提高对LLM生成内容的筛查准确性，可以有效维护学术研究的质量和诚信，促进科学交流的透明性和可靠性。

📄 摘要（原文）

Journals and conferences have begun to screen submitted manuscripts for text written using large language models (LLMs). The reliability of this screening rests on benchmark evaluations against a fixed set of LLM versions, while the versions in actual use keep changing. Here we quantify how this LLM turnover affects the screening of scientific manuscripts. We paired 4,000 pre-ChatGPT abstracts from the Proceedings of the National Academy of Sciences with their rewrites by 23 LLM versions from three vendors, released between June 2023 and August 2026. We then trained detectors under maintenance scenarios ranging from a detector retrained on every new version to one trained once and never updated. Detectors trained only on a vendor's past versions can collapse at the boundaries between model generations: calibrated to falsely flag 1% of human-written abstracts, they catch above 99% of rewrites just before the sharpest boundary and 3.8% just after it. Detectors trained on later versions can also miss rewrites of earlier ones. Vocabulary differences between versions largely track where detection transfers and where it fails. In the two screening scenarios we simulated, screens covering all 23 versions either flagged one in eight human-written abstracts or missed one in three rewrites of the newest version. Indeed, a commercial detector missed most rewrites of the version just after the sharpest boundary while flagging almost no human-written abstracts. Research-integrity policy should therefore treat the benchmark accuracy of a detector as provisional, to be re-verified with every LLM release, including earlier versions.