How Well Do LLMs Imitate Human Writing Style?

📄 arXiv: 2509.24930v1 📥 PDF

作者: Rebira Jemama, Rajesh Kumar

分类: cs.CL, cs.CY

发布日期: 2025-09-29

备注: IEEE UEMCON 2025, 11 pages, 4 figures, and 4 tables

💡 一句话要点

提出一种快速免训练框架，用于评估大型语言模型模仿人类写作风格的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 风格模仿 作者身份验证 免训练学习 文本风格分析

📋 核心要点

  1. 现有方法难以快速准确地评估LLM模仿人类写作风格的能力，需要耗时的训练和调参。
  2. 提出一种免训练框架，结合TF-IDF和Transformer嵌入，通过经验距离分布进行风格匹配，无需监督学习。
  3. 实验表明，少样本和补全提示策略能显著提高LLM的风格模仿能力，但高保真不代表人类的不可预测性。

📝 摘要（中文）

大型语言模型（LLM）能够生成流畅的文本，但它们复制特定人类作者独特风格的能力仍不清楚。本文提出了一种快速、免训练的框架，用于作者身份验证和风格模仿分析。该方法将TF-IDF字符n-gram与Transformer嵌入相结合，并通过经验距离分布对文本对进行分类，无需监督训练或阈值调整。在学术论文上实现了97.5%的准确率，在跨领域评估中达到了94.5%的准确率，同时相对于基于参数的基线，训练时间减少了91.8%，内存使用量减少了59%。使用该框架，我们评估了来自三个不同系列（Llama、Qwen、Mixtral）的五个LLM，采用了四种提示策略——零样本、单样本、少样本和文本补全。结果表明，提示策略对风格保真度的影响比模型大小更大：少样本提示产生的风格匹配准确率比零样本高出23.5倍，补全提示与原始作者的风格一致性达到99.9%。至关重要的是，高保真模仿并不意味着像人类一样不可预测——人类文章的平均困惑度为29.5，而匹配的LLM输出的平均困惑度仅为15.2。这些发现表明，风格保真度和统计可检测性是可分离的，为作者身份建模、检测和身份条件生成方面的未来工作奠定了可重复的基础。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大型语言模型（LLM）模仿特定人类作者写作风格的能力。现有方法通常需要大量的训练数据和计算资源，并且需要针对不同的作者或领域进行调整，缺乏通用性和效率。此外，现有方法难以区分风格上的相似性和统计上的可区分性，即LLM可能在风格上模仿得很好，但在统计上仍然容易被检测出来。

核心思路：论文的核心思路是提出一种免训练的风格模仿评估框架，该框架通过结合TF-IDF字符n-gram和Transformer嵌入，捕捉文本的风格特征，并通过经验距离分布来衡量文本之间的风格相似度。这种方法无需监督训练，避免了对大量标注数据的依赖，并且能够快速评估LLM的风格模仿能力。同时，论文还关注了LLM生成文本的统计可区分性，通过困惑度等指标来衡量LLM生成文本与人类文本的差异。

技术框架：该框架主要包含以下几个模块：1) 文本预处理：对输入的文本进行清洗和标准化处理。2) 特征提取：使用TF-IDF字符n-gram提取文本的词汇特征，使用Transformer嵌入提取文本的语义特征。3) 风格相似度计算：通过计算文本特征之间的距离，衡量文本之间的风格相似度。4) 经验距离分布：利用经验距离分布对文本对进行分类，判断LLM是否成功模仿了人类作者的风格。5) 统计可区分性评估：使用困惑度等指标评估LLM生成文本与人类文本的统计差异。

关键创新：该论文的关键创新在于提出了一种免训练的风格模仿评估框架，该框架无需监督训练，能够快速准确地评估LLM的风格模仿能力。此外，论文还关注了LLM生成文本的统计可区分性，提出了评估风格保真度和统计可检测性的方法。

关键设计：该框架的关键设计包括：1) 使用TF-IDF字符n-gram和Transformer嵌入相结合的方式提取文本特征，能够捕捉文本的词汇和语义信息。2) 使用经验距离分布对文本对进行分类，避免了阈值调整的困难。3) 使用困惑度等指标评估LLM生成文本与人类文本的统计差异，能够更全面地评估LLM的风格模仿能力。

📊 实验亮点

实验结果表明，该框架在学术论文上实现了97.5%的准确率，在跨领域评估中达到了94.5%的准确率，同时相对于基于参数的基线，训练时间减少了91.8%，内存使用量减少了59%。此外，实验还表明，少样本提示产生的风格匹配准确率比零样本高出23.5倍，补全提示与原始作者的风格一致性达到99.9%。

🎯 应用场景

该研究成果可应用于作者身份验证、文本风格分析、身份条件文本生成等领域。例如，可以用于检测AI生成的文章是否模仿了特定作者的风格，或者用于生成具有特定作者风格的文本。此外，该研究还可以帮助我们更好地理解LLM的风格模仿能力，并为开发更具个性化的AI系统提供指导。

📄 摘要（原文）

Large language models (LLMs) can generate fluent text, but their ability to replicate the distinctive style of a specific human author remains unclear. We present a fast, training-free framework for authorship verification and style imitation analysis. The method integrates TF-IDF character n-grams with transformer embeddings and classifies text pairs through empirical distance distributions, eliminating the need for supervised training or threshold tuning. It achieves 97.5\% accuracy on academic essays and 94.5\% in cross-domain evaluation, while reducing training time by 91.8\% and memory usage by 59\% relative to parameter-based baselines. Using this framework, we evaluate five LLMs from three separate families (Llama, Qwen, Mixtral) across four prompting strategies - zero-shot, one-shot, few-shot, and text completion. Results show that the prompting strategy has a more substantial influence on style fidelity than model size: few-shot prompting yields up to 23.5x higher style-matching accuracy than zero-shot, and completion prompting reaches 99.9\% agreement with the original author's style. Crucially, high-fidelity imitation does not imply human-like unpredictability - human essays average a perplexity of 29.5, whereas matched LLM outputs average only 15.2. These findings demonstrate that stylistic fidelity and statistical detectability are separable, establishing a reproducible basis for future work in authorship modeling, detection, and identity-conditioned generation.