CS4: Measuring the Creativity of Large Language Models Automatically by Controlling the Number of Story-Writing Constraints

📄 arXiv: 2410.04197v1 📥 PDF

作者: Anirudh Atmakuru, Jatin Nainani, Rohith Siddhartha Reddy Bheemreddy, Anirudh Lakkaraju, Zonghai Yao, Hamed Zamani, Haw-Shiuan Chang

分类: cs.CL

发布日期: 2024-10-05

🔗 代码/项目: GITHUB

💡 一句话要点

CS4：通过控制故事写作约束数量自动评估大型语言模型的创造力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 创造力评估 故事写作 约束条件 基准数据集

📋 核心要点

  1. 现有评估LLM创造力的方法难以区分模型生成的原创内容和对训练数据的简单复述，缺乏有效的评估手段。
  2. CS4通过控制故事写作提示中的约束数量来调节提示的特异性，从而间接衡量LLM在生成新颖故事方面的创造力。
  3. 实验表明，LLM在面对高约束提示时创造力面临挑战，且不同LLM在指令遵循和叙事连贯性之间存在不同的平衡。

📝 摘要（中文）

评估大型语言模型（LLM）在故事写作方面的创造力非常困难，因为LLM生成的故事表面上看起来很有创意，但可能与它们庞大且专有的训练语料库中的一些现有故事非常相似。为了克服这一挑战，我们引入了一个新的基准数据集，该数据集具有不同级别的提示特异性：CS4（通过控制合成约束特异性来比较创建故事的技能）。通过增加提示中的需求/约束的数量，我们可以增加提示的特异性，并阻止LLM复述其训练数据中的高质量叙述。因此，CS4使我们能够间接衡量LLM的创造力，而无需人工标注。我们对LLaMA、Gemma和Mistral的实验不仅突出了LLM在处理高度具体的提示时面临的创造力挑战，而且揭示了不同的LLM在不同数量的约束下表现非常不同，并在模型的指令遵循能力和叙事连贯性之间实现了不同的平衡。此外，我们对OLMo的实验表明，从人类反馈中学习（LHF）可以帮助LLM从其训练数据中选择更好的故事，但在提高LLM生成训练语料库中未见过的创意故事的能力方面影响有限。该基准已在https://github.com/anirudhlakkaraju/cs4_benchmark上发布。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大型语言模型（LLM）在故事写作中的创造力的问题。现有的评估方法难以区分LLM生成的看似有创意的故事是真正的创新，还是仅仅是对其庞大训练语料库中现有故事的复述。这种模糊性使得准确衡量LLM的创造力变得困难。

核心思路：论文的核心思路是通过控制故事写作提示中的约束数量来调节提示的特异性。增加约束的数量会提高提示的特异性，从而迫使LLM生成新的故事，而不是简单地复述训练数据中的现有故事。通过这种方式，可以间接衡量LLM在生成新颖故事方面的创造力。

技术框架：CS4基准数据集包含一系列故事写作提示，每个提示都具有不同数量的约束。LLM被要求根据这些提示生成故事。然后，通过分析LLM生成的故事与训练数据中现有故事的相似性，以及评估故事的连贯性和创造性，来评估LLM的创造力。整体流程包括：1. 构建不同约束数量的故事写作提示；2. 使用LLM生成故事；3. 分析生成故事的质量和与训练数据的相似性。

关键创新：该论文的关键创新在于提出了一种通过控制提示约束数量来间接衡量LLM创造力的方法。这种方法避免了直接的人工标注，并提供了一种更客观和可重复的方式来评估LLM的创造力。与现有方法相比，CS4能够更有效地识别LLM的真正创新能力，而不是简单地评估其复述训练数据的能力。

关键设计：CS4的关键设计在于约束数量的控制。具体来说，提示的约束数量从低到高变化，从而允许研究人员评估LLM在不同程度的提示特异性下的表现。此外，该基准数据集还包括用于评估生成故事的连贯性和创造性的指标。论文中没有明确提及损失函数或网络结构等细节，因为重点在于数据集和评估方法的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLaMA、Gemma和Mistral等LLM在面对高约束提示时，创造力面临显著挑战。不同LLM在指令遵循能力和叙事连贯性之间表现出不同的平衡。OLMo的实验表明，LHF可以帮助LLM选择更好的故事，但对提升LLM的创造力影响有限。这些结果为理解和改进LLM的创造力提供了有价值的见解。

🎯 应用场景

该研究成果可应用于评估和提升大型语言模型在创意写作、内容生成、游戏设计等领域的表现。通过CS4基准，可以更有效地训练和评估LLM，使其能够生成更具创意和原创性的内容，从而推动人工智能在创意领域的应用。

📄 摘要（原文）

Evaluating the creativity of large language models (LLMs) in story writing is difficult because LLM-generated stories could seemingly look creative but be very similar to some existing stories in their huge and proprietary training corpus. To overcome this challenge, we introduce a novel benchmark dataset with varying levels of prompt specificity: CS4 ($\mathbf{C}$omparing the $\mathbf{S}$kill of $\mathbf{C}$reating $\mathbf{S}$tories by $\mathbf{C}$ontrolling the $\mathbf{S}$ynthesized $\mathbf{C}$onstraint $\mathbf{S}$pecificity). By increasing the number of requirements/constraints in the prompt, we can increase the prompt specificity and hinder LLMs from retelling high-quality narratives in their training data. Consequently, CS4 empowers us to indirectly measure the LLMs' creativity without human annotations. Our experiments on LLaMA, Gemma, and Mistral not only highlight the creativity challenges LLMs face when dealing with highly specific prompts but also reveal that different LLMs perform very differently under different numbers of constraints and achieve different balances between the model's instruction-following ability and narrative coherence. Additionally, our experiments on OLMo suggest that Learning from Human Feedback (LHF) can help LLMs select better stories from their training data but has limited influence in boosting LLMs' ability to produce creative stories that are unseen in the training corpora. The benchmark is released at https://github.com/anirudhlakkaraju/cs4_benchmark.