Decoding AI Authorship: Can LLMs Truly Mimic Human Style Across Literature and Politics?

📄 arXiv: 2603.23219v1 📥 PDF

作者: Nasser A Alsadhan

分类: cs.CL, cs.LG

发布日期: 2026-03-24

备注: Preprint. Accepted for publication in Digital Scholarship in the Humanities (OUP)

💡 一句话要点

评估大型语言模型模仿人类写作风格的能力，揭示AI生成文本与人类写作的差异。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 写作风格模仿 作者身份识别 文体特征分析 机器学习 困惑度 零样本学习

📋 核心要点

  1. 现有方法难以准确评估大型语言模型在模仿人类写作风格方面的能力，尤其是在细微的情感和文体差异上。
  2. 本研究通过零样本提示LLM生成文本，并结合BERT和XGBoost等模型，从多个维度评估AI生成文本与人类写作的差异。
  3. 实验结果表明，AI生成的模仿文本仍然可被有效检测，困惑度是区分AI与人类写作的关键指标。

📝 摘要（中文）

本研究旨在评估包括GPT-4o、Gemini 1.5 Pro和Claude Sonnet 3.5在内的先进大型语言模型（LLMs）模仿著名文学和政治人物（如沃尔特·惠特曼、威廉·华兹华斯、唐纳德·特朗普和贝拉克·奥巴马）写作风格的能力。研究采用零样本提示框架，并严格控制主题一致性，生成合成语料库。通过结合基于Transformer的分类器（BERT）和可解释机器学习模型（XGBoost）的互补框架进行评估。该方法整合了语言调查和词计数（LIWC）标记、困惑度以及可读性指标，以评估AI生成文本与人类写作文本之间的差异。结果表明，AI生成的模仿文本仍然很容易被检测到。仅使用八个文体特征训练的XGBoost模型即可达到与高维神经分类器相当的准确率。特征重要性分析表明，困惑度是主要的区分指标，揭示了AI输出在随机规律性方面与人类写作的较高变异性存在显著差异。虽然LLMs在低维启发式特征（如句法复杂性和可读性）上与人类作者表现出分布收敛，但它们尚未完全复制人类写作语料库中固有的细微情感密度和文体差异。通过隔离当前生成模仿中的特定统计差距，本研究为LLM文体行为提供了一个全面的基准，并为数字人文和社会媒体中的作者身份归属提供了关键见解。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）是否能够真正模仿人类作者的写作风格，以及如何有效检测AI生成的模仿文本的问题。现有方法在捕捉细微的文体差异和情感密度方面存在不足，难以准确区分AI与人类写作。

核心思路：论文的核心思路是通过零样本提示LLMs生成模仿特定作者风格的文本，然后利用机器学习模型分析这些文本的文体特征，并与真实的人类写作文本进行对比。通过分析特征重要性，揭示AI生成文本与人类写作在统计规律上的差异。

技术框架：整体框架包括以下几个主要阶段： 1. 数据生成：使用零样本提示，指示GPT-4o、Gemini 1.5 Pro和Claude Sonnet 3.5等LLMs模仿Walt Whitman, William Wordsworth, Donald Trump, 和 Barack Obama的写作风格，生成合成语料库。 2. 特征提取：从AI生成文本和人类写作文本中提取文体特征，包括LIWC标记、困惑度、可读性指标等。 3. 模型训练与评估：使用BERT和XGBoost等机器学习模型，基于提取的文体特征训练分类器，用于区分AI生成文本和人类写作文本。评估模型的准确率、精确率、召回率等指标。 4. 特征重要性分析：分析XGBoost模型中各个文体特征的重要性，找出区分AI与人类写作的关键特征。

关键创新：论文的关键创新在于： 1. 提出了一个综合性的评估框架，结合了Transformer模型（BERT）和可解释机器学习模型（XGBoost），能够更全面地分析AI生成文本的文体特征。 2. 通过特征重要性分析，揭示了困惑度是区分AI与人类写作的关键指标，为理解AI生成文本的局限性提供了新的视角。 3. 采用零样本提示，更真实地模拟了LLMs在实际应用中的模仿能力。

关键设计： 1. 零样本提示：使用简洁明了的提示语，指示LLMs模仿特定作者的写作风格，避免引入额外的偏差。 2. 文体特征选择：选择LIWC标记、困惑度、可读性指标等具有代表性的文体特征，能够反映文本的词汇、语法、情感等多个方面的信息。 3. 模型选择：BERT用于捕捉文本的深层语义信息，XGBoost用于分析特征重要性，两者互补，能够更全面地评估AI生成文本的文体特征。 4. 评估指标：使用准确率、精确率、召回率等指标评估模型的性能，并进行统计显著性检验，确保结果的可靠性。

📊 实验亮点

实验结果表明，仅使用8个文体特征训练的XGBoost模型即可达到与高维神经分类器相当的准确率，有效区分AI生成文本和人类写作文本。特征重要性分析显示，困惑度是主要的区分指标，表明AI生成文本在随机规律性方面与人类写作存在显著差异。虽然LLMs在句法复杂性和可读性等低维特征上与人类作者表现出分布收敛，但它们尚未完全复制人类写作语料库中固有的细微情感密度和文体差异。

🎯 应用场景

该研究成果可应用于数字人文、社会媒体分析、作者身份识别等领域。例如，可以用于检测社交媒体上的虚假信息，识别AI生成的评论或文章，以及辅助文学研究，分析不同作者的写作风格。此外，该研究还可以为LLM的改进提供指导，使其能够更好地模仿人类的写作风格。

📄 摘要（原文）

Amidst the rising capabilities of generative AI to mimic specific human styles, this study investigates the ability of state-of-the-art large language models (LLMs), including GPT-4o, Gemini 1.5 Pro, and Claude Sonnet 3.5, to emulate the authorial signatures of prominent literary and political figures: Walt Whitman, William Wordsworth, Donald Trump, and Barack Obama. Utilizing a zero-shot prompting framework with strict thematic alignment, we generated synthetic corpora evaluated through a complementary framework combining transformer-based classification (BERT) and interpretable machine learning (XGBoost). Our methodology integrates Linguistic Inquiry and Word Count (LIWC) markers, perplexity, and readability indices to assess the divergence between AI-generated and human-authored text. Results demonstrate that AI-generated mimicry remains highly detectable, with XGBoost models trained on a restricted set of eight stylometric features achieving accuracy comparable to high-dimensional neural classifiers. Feature importance analyses identify perplexity as the primary discriminative metric, revealing a significant divergence in the stochastic regularity of AI outputs compared to the higher variability of human writing. While LLMs exhibit distributional convergence with human authors on low-dimensional heuristic features, such as syntactic complexity and readability, they do not yet fully replicate the nuanced affective density and stylistic variance inherent in the human-authored corpus. By isolating the specific statistical gaps in current generative mimicry, this study provides a comprehensive benchmark for LLM stylistic behavior and offers critical insights for authorship attribution in the digital humanities and social media.