Do LLMs write like humans? Variation in grammatical and rhetorical styles

📄 arXiv: 2410.16107v2 📥 PDF

作者: Alex Reinhart, Ben Markey, Michael Laudenbach, Kachatad Pantusen, Ronald Yurko, Gordon Weinberg, David West Brown

分类: cs.CL

发布日期: 2024-10-21 (更新: 2025-08-21)

备注: 7 pages, 4 figures, 1 table

期刊: Proceedings of the National Academy of Sciences 122 (2025), e2422455122

DOI: 10.1073/pnas.2422455122

💡 一句话要点

通过语法和修辞风格的差异，揭示大型语言模型与人类写作的本质区别

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 修辞风格 文本分析 风格差异 自然语言处理

📋 核心要点

  1. 现有方法难以区分LLM与人类写作，尤其是在修辞风格等深层特征上，这给检测LLM生成内容带来了挑战。
  2. 该研究通过分析LLM和人类写作在词汇、语法和修辞特征上的差异，揭示了LLM在风格变化上与人类的差距。
  3. 实验结果表明，即使是更大型、指令调整过的LLM，在风格模仿上仍然存在局限性，表明关注高级语言特征有助于识别LLM生成内容。

📝 摘要（中文）

大型语言模型(LLMs)能够生成语法正确、遵循指令、回答问题和解决问题的文本。随着LLMs的进步，区分其输出与人类写作的文本变得越来越困难。虽然过去的研究发现了一些表面特征的差异，如词语选择和标点符号，并开发了分类器来检测LLM的输出，但没有研究LLMs的修辞风格。本文使用Llama 3和GPT-4o的几个变体，构建了人类和LLM编写的文本的平行语料库，这些文本来自常见的提示。利用Douglas Biber的词汇、语法和修辞特征集，识别了LLMs和人类之间以及不同LLMs之间的系统性差异。这些差异在从较小模型转移到较大模型时仍然存在，并且对于指令调整模型比基础模型更大。这种差异的观察表明，尽管LLMs具有先进的能力，但它们很难匹配人类的风格变化。因此，关注更高级的语言特征可以检测到以前未被识别的行为模式。

🔬 方法详解

问题定义：论文旨在解决区分大型语言模型（LLMs）生成文本与人类书写文本的问题。现有方法主要关注表面特征（如词汇选择、标点符号），缺乏对修辞风格等深层语言特征的分析，导致难以有效区分LLMs和人类的写作。

核心思路：论文的核心思路是通过分析LLMs和人类写作在词汇、语法和修辞风格上的差异，来识别LLMs的独特写作模式。这种方法基于Douglas Biber的语言特征集，能够捕捉到LLMs在风格变化上与人类的差距。之所以选择这种方法，是因为修辞风格等深层特征更能反映作者的写作习惯和思维模式，从而更有效地进行区分。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 构建平行语料库：收集来自人类和不同LLMs（Llama 3和GPT-4o的变体）的文本，这些文本基于相同的提示生成。2) 特征提取：利用Douglas Biber的语言特征集，提取文本的词汇、语法和修辞特征。3) 差异分析：分析LLMs和人类写作在这些特征上的差异，以及不同LLMs之间的差异。4) 模型评估：评估这些差异在不同模型大小和指令调整情况下的表现。

关键创新：该研究的关键创新在于关注了LLMs的修辞风格，这是以往研究较少涉及的领域。通过分析修辞风格的差异，该研究能够更有效地识别LLMs的写作模式，并揭示LLMs在风格模仿上的局限性。与现有方法相比，该研究的方法能够捕捉到更深层次的语言特征，从而提高区分LLMs和人类写作的准确性。

关键设计：研究中使用了Douglas Biber的语言特征集，该特征集包含了丰富的词汇、语法和修辞特征，能够全面地描述文本的风格。此外，研究还考虑了不同模型大小（较小模型到较大模型）和指令调整情况（基础模型和指令调整模型）对结果的影响。具体的参数设置、损失函数和网络结构等技术细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

研究发现，LLMs在词汇、语法和修辞风格上与人类存在系统性差异，并且这些差异在从较小模型转移到较大模型时仍然存在。指令调整模型比基础模型表现出更大的差异，表明即使是更先进的LLM，在风格模仿上仍然存在局限性。这些发现为区分LLM生成内容和人类写作提供了新的视角。

🎯 应用场景

该研究成果可应用于检测LLM生成的虚假信息、评估LLM的写作风格和质量，以及提高LLM生成文本的自然度和多样性。此外，该研究还可以帮助人们更好地理解LLM的工作原理和局限性，从而促进人工智能技术的健康发展。

📄 摘要（原文）

Large language models (LLMs) are capable of writing grammatical text that follows instructions, answers questions, and solves problems. As they have advanced, it has become difficult to distinguish their output from human-written text. While past research has found some differences in surface features such as word choice and punctuation, and developed classifiers to detect LLM output, none has studied the rhetorical styles of LLMs. Using several variants of Llama 3 and GPT-4o, we construct two parallel corpora of human- and LLM-written texts from common prompts. Using Douglas Biber's set of lexical, grammatical, and rhetorical features, we identify systematic differences between LLMs and humans and between different LLMs. These differences persist when moving from smaller models to larger ones, and are larger for instruction-tuned models than base models. This observation of differences demonstrates that despite their advanced abilities, LLMs struggle to match human stylistic variation. Attention to more advanced linguistic features can hence detect patterns in their behavior not previously recognized.