How Well Do LLMs Imitate Human Writing Style?

📄 arXiv: 2509.24930v1 📥 PDF

作者: Rebira Jemama, Rajesh Kumar

分类: cs.CL, cs.CY

发布日期: 2025-09-29

备注: IEEE UEMCON 2025, 11 pages, 4 figures, and 4 tables

💡 一句话要点

提出免训练风格模仿分析框架，评估LLM模仿人类写作风格的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 风格模仿 作者身份验证 免训练学习 Transformer嵌入

📋 核心要点

  1. 现有方法难以快速准确地评估LLM模仿特定作者写作风格的能力，缺乏有效的免训练分析框架。
  2. 该论文提出了一种免训练的作者身份验证和风格模仿分析框架，结合TF-IDF和Transformer嵌入，通过距离分布进行分类。
  3. 实验表明，少样本和文本补全提示策略能显著提高LLM的风格模仿能力，但高保真模仿并不等同于人类写作的不可预测性。

📝 摘要（中文）

大型语言模型(LLM)能够生成流畅的文本，但它们复制特定人类作者独特风格的能力仍不清楚。我们提出了一种快速、免训练的作者身份验证和风格模仿分析框架。该方法集成了TF-IDF字符n-gram与Transformer嵌入，并通过经验距离分布对文本对进行分类，无需监督训练或阈值调整。在学术论文上实现了97.5%的准确率，在跨领域评估中达到了94.5%的准确率，同时相对于基于参数的基线，训练时间减少了91.8%，内存使用量减少了59%。使用该框架，我们评估了来自三个独立系列（Llama、Qwen、Mixtral）的五个LLM，采用了四种提示策略——零样本、单样本、少样本和文本补全。结果表明，提示策略对风格保真度的影响比模型大小更大：少样本提示产生的风格匹配准确率比零样本高出23.5倍，补全提示与原始作者的风格一致性达到99.9%。至关重要的是，高保真模仿并不意味着像人类一样不可预测——人类文章的平均困惑度为29.5，而匹配的LLM输出的平均困惑度仅为15.2。这些发现表明，风格保真度和统计可检测性是可分离的，为作者身份建模、检测和身份条件生成方面的未来工作奠定了可重复的基础。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大型语言模型（LLM）模仿特定人类作者写作风格的问题。现有方法通常需要大量的训练数据和计算资源，并且难以在不同领域之间泛化。此外，现有方法往往忽略了风格保真度与人类写作的不可预测性之间的差异。

核心思路：论文的核心思路是提出一种免训练的作者身份验证和风格模仿分析框架，该框架能够快速、准确地评估LLM的风格模仿能力，而无需进行监督训练或阈值调整。该框架通过结合TF-IDF字符n-gram和Transformer嵌入，捕捉文本的风格特征，并通过经验距离分布进行分类。

技术框架：该框架主要包含以下几个模块：1) 文本预处理：对输入的文本进行清洗和标准化处理。2) 特征提取：使用TF-IDF字符n-gram和Transformer嵌入提取文本的风格特征。3) 距离计算：计算文本对之间的距离，用于衡量它们之间的风格相似度。4) 分类：基于经验距离分布对文本对进行分类，判断它们是否属于同一作者。

关键创新：该论文最重要的技术创新点在于提出了一种免训练的风格模仿分析框架，该框架无需进行监督训练或阈值调整，即可实现高精度的作者身份验证和风格模仿分析。与现有方法相比，该框架具有更高的效率和更好的泛化能力。

关键设计：该框架的关键设计包括：1) 使用TF-IDF字符n-gram捕捉文本的词汇和语法特征。2) 使用Transformer嵌入捕捉文本的语义特征。3) 使用经验距离分布对文本对进行分类，避免了阈值调整的困难。4) 采用四种不同的提示策略（零样本、单样本、少样本和文本补全）来评估LLM的风格模仿能力。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该框架在学术论文上实现了97.5%的准确率，在跨领域评估中达到了94.5%的准确率，同时相对于基于参数的基线，训练时间减少了91.8%，内存使用量减少了59%。此外，实验还发现，少样本提示产生的风格匹配准确率比零样本高出23.5倍，补全提示与原始作者的风格一致性达到99.9%。

🎯 应用场景

该研究成果可应用于作者身份验证、文本风格分析、身份条件文本生成等领域。例如，可以用于检测AI生成的文章，保护知识产权，或用于生成具有特定作者风格的文本内容。此外，该研究还可以帮助我们更好地理解LLM的风格模仿能力，并为未来的风格建模研究提供指导。

📄 摘要（原文）

Large language models (LLMs) can generate fluent text, but their ability to replicate the distinctive style of a specific human author remains unclear. We present a fast, training-free framework for authorship verification and style imitation analysis. The method integrates TF-IDF character n-grams with transformer embeddings and classifies text pairs through empirical distance distributions, eliminating the need for supervised training or threshold tuning. It achieves 97.5\% accuracy on academic essays and 94.5\% in cross-domain evaluation, while reducing training time by 91.8\% and memory usage by 59\% relative to parameter-based baselines. Using this framework, we evaluate five LLMs from three separate families (Llama, Qwen, Mixtral) across four prompting strategies - zero-shot, one-shot, few-shot, and text completion. Results show that the prompting strategy has a more substantial influence on style fidelity than model size: few-shot prompting yields up to 23.5x higher style-matching accuracy than zero-shot, and completion prompting reaches 99.9\% agreement with the original author's style. Crucially, high-fidelity imitation does not imply human-like unpredictability - human essays average a perplexity of 29.5, whereas matched LLM outputs average only 15.2. These findings demonstrate that stylistic fidelity and statistical detectability are separable, establishing a reproducible basis for future work in authorship modeling, detection, and identity-conditioned generation.