Investigating Wit, Creativity, and Detectability of Large Language Models in Domain-Specific Writing Style Adaptation of Reddit's Showerthoughts
作者: Tolga Buz, Benjamin Frost, Nikola Genchev, Moritz Schneider, Lucie-Aimée Kaffee, Gerard de Melo
分类: cs.CL, cs.AI
发布日期: 2024-05-02
备注: Accepted to *SEM 2024 (StarSEM) conference
💡 一句话要点
研究大型语言模型在Reddit Showerthoughts领域特定写作风格的适应性、创造力和可检测性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 文本生成 风格迁移 创造力评估 可检测性
📋 核心要点
- 现有方法难以让大型语言模型在特定领域（如Showerthoughts）生成高质量、风格一致的创意文本。
- 通过微调和零样本学习等方法，研究不同规模的LLM在模仿人类写作风格方面的能力，并进行对比评估。
- 实验表明，人类难以区分AI生成的Showerthoughts文本和人类创作的文本，但AI生成的文本在创意质量上略有不足。
📝 摘要（中文）
本文研究了不同规模的大型语言模型（LLMs）在Showerthoughts领域的短篇创意文本中复制人类写作风格的能力。Showerthoughts指的是在日常活动中可能产生的想法。我们将在Reddit数据上微调的GPT-2和GPT-Neo，以及以零样本方式调用的GPT-3.5与人类创作的文本进行比较。我们衡量了人类对文本在创意、诙谐等特定维度上的偏好。此外，我们比较了人类与微调的RoBERTa分类器检测AI生成文本的能力。结论是，人类评估者认为生成的文本在创意质量方面略逊一筹，但他们无法可靠地区分人类撰写和AI生成的文本。我们还提供了一个基于Reddit Showerthoughts帖子的创意、诙谐文本生成数据集。
🔬 方法详解
问题定义：论文旨在研究大型语言模型在特定领域（Reddit的Showerthoughts）生成创意文本的能力，并评估其生成文本的质量和可检测性。现有方法难以生成既具有创造性又符合特定写作风格的文本，并且难以评估生成文本与人类创作文本的相似度。
核心思路：论文的核心思路是利用不同规模的预训练语言模型（GPT-2, GPT-Neo, GPT-3.5），通过微调（GPT-2, GPT-Neo）或零样本学习（GPT-3.5）的方式，使其适应Showerthoughts的写作风格。然后，通过人类评估和RoBERTa分类器来评估生成文本的质量和可检测性。
技术框架：整体流程包括以下几个阶段：1) 数据收集：从Reddit的Showerthoughts板块收集数据；2) 模型训练：使用收集的数据对GPT-2和GPT-Neo进行微调，并使用GPT-3.5进行零样本学习；3) 文本生成：使用训练好的模型生成Showerthoughts文本；4) 评估：通过人类评估和RoBERTa分类器评估生成文本的质量和可检测性。
关键创新：论文的关键创新在于：1) 针对Showerthoughts这种特定领域的创意文本生成进行了深入研究；2) 比较了不同规模的语言模型在生成创意文本方面的能力；3) 同时使用了人类评估和RoBERTa分类器来评估生成文本的质量和可检测性；4) 提供了一个用于创意、诙谐文本生成的数据集。
关键设计：论文的关键设计包括：1) 使用Reddit的Showerthoughts板块作为特定领域的文本来源；2) 使用GPT-2、GPT-Neo和GPT-3.5三种不同规模的语言模型进行对比；3) 使用人类评估来衡量生成文本的创意质量和可读性；4) 使用微调的RoBERTa分类器来检测AI生成的文本。
🖼️ 关键图片
📊 实验亮点
实验结果表明，人类评估者在区分AI生成的Showerthoughts文本和人类创作的文本方面表现不佳，表明大型语言模型在模仿特定写作风格方面取得了显著进展。然而，人类评估者认为AI生成的文本在创意质量方面略逊于人类创作的文本，这表明在创意文本生成方面仍有提升空间。
🎯 应用场景
该研究成果可应用于创意文本生成、社交媒体内容创作、智能对话系统等领域。通过训练语言模型模仿特定写作风格，可以生成更具吸引力和个性化的内容，提升用户体验。此外，该研究对于评估AI生成内容的质量和可信度具有重要意义，有助于提高人们对AI技术的认知和信任。
📄 摘要（原文）
Recent Large Language Models (LLMs) have shown the ability to generate content that is difficult or impossible to distinguish from human writing. We investigate the ability of differently-sized LLMs to replicate human writing style in short, creative texts in the domain of Showerthoughts, thoughts that may occur during mundane activities. We compare GPT-2 and GPT-Neo fine-tuned on Reddit data as well as GPT-3.5 invoked in a zero-shot manner, against human-authored texts. We measure human preference on the texts across the specific dimensions that account for the quality of creative, witty texts. Additionally, we compare the ability of humans versus fine-tuned RoBERTa classifiers to detect AI-generated texts. We conclude that human evaluators rate the generated texts slightly worse on average regarding their creative quality, but they are unable to reliably distinguish between human-written and AI-generated texts. We further provide a dataset for creative, witty text generation based on Reddit Showerthoughts posts.