Collective Critics for Creative Story Generation

📄 arXiv: 2410.02428v1 📥 PDF

作者: Minwook Bae, Hyounghun Kim

分类: cs.CL, cs.AI

发布日期: 2024-10-03

备注: EMNLP 2024 (36 pages)

💡 一句话要点

提出CritiCS框架，通过集体评论机制提升长篇故事生成的创造性和读者参与度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长篇故事生成 大型语言模型 集体评论 创造性写作 人机协作

📋 核心要点

  1. 现有长篇故事生成框架侧重于叙事连贯性，忽略了故事计划的创造性和故事表达性，难以吸引读者。
  2. CritiCS框架引入集体评论机制，通过多轮迭代改进故事计划和文本，提升故事的创造性和表达性。
  3. 实验表明，CritiCS显著提高了故事的创造性和读者参与度，同时保持了叙事连贯性，并支持人机协作。

📝 摘要（中文）

本文提出了一种名为“用于创造性故事生成的集体评论家”（CritiCS）的框架，旨在解决大型语言模型（LLM）在生成具有叙事连贯性的长篇故事时面临的挑战。该框架由计划改进阶段（CrPlan）和故事生成阶段（CrText）组成，通过集体修订机制，促进故事的创造性和表达性。在每个阶段，一组LLM评论家和一个领导者协作，通过多轮迭代改进计划和故事草案。大量的人工评估表明，CritiCS能够显著提高故事的创造性和读者参与度，同时保持叙事连贯性。此外，该框架允许人类作者积极参与评论过程中的任何角色，从而实现故事写作中人机交互协作。

🔬 方法详解

问题定义：长篇故事生成任务旨在利用大型语言模型生成数千字且具有叙事连贯性的故事。现有方法主要关注如何维持故事的叙事连贯性，但往往忽略了故事计划的创造性以及故事本身的表达性，导致生成的故事缺乏吸引力。因此，如何提升长篇故事生成的创造性和读者参与度是一个关键问题。

核心思路：CritiCS框架的核心思路是引入“集体评论”机制，模拟人类写作过程中多人协作、互相评审的模式。通过让多个LLM扮演评论家的角色，对故事计划和故事文本进行多轮迭代的改进，从而激发创造性，提升故事的质量。这种集体智慧能够有效地弥补单个LLM在创造性方面的不足。

技术框架：CritiCS框架包含两个主要阶段：计划改进阶段（CrPlan）和故事生成阶段（CrText）。在CrPlan阶段，一组LLM评论家和一个领导者协作，对初始的故事计划进行多轮迭代改进，生成更具创造性的故事计划。在CrText阶段，同样采用集体评论机制，对基于改进后的故事计划生成的初始故事文本进行多轮迭代改进，生成更具表达力的故事。每个阶段都包含多个评论轮次，每一轮都由评论家提出修改意见，领导者综合所有意见并进行修改。

关键创新：CritiCS框架的关键创新在于引入了集体评论机制，将多个LLM组合成一个协作团队，共同参与故事计划和故事文本的改进。这种机制能够有效地提升故事的创造性和表达性，同时保持叙事连贯性。此外，该框架还支持人类作者参与评论过程，实现人机协作，进一步提升故事的质量。

关键设计：框架的关键设计包括：1) LLM评论家的数量和角色分配；2) 评论家提出修改意见的方式和内容；3) 领导者综合所有意见并进行修改的策略；4) 迭代轮次的数量；5) 损失函数的设计，用于指导LLM评论家和领导者的行为。具体参数设置和网络结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过人工评估，CritiCS框架在故事创造性和读者参与度方面取得了显著提升，同时保持了叙事连贯性。具体的性能数据和对比基线在摘要中未提及，属于未知信息。但结论表明，CritiCS在提升故事质量方面具有明显优势。

🎯 应用场景

CritiCS框架可应用于多种需要创造性内容生成的场景，例如小说创作、剧本编写、游戏剧情设计等。该框架能够辅助人类作者进行创作，提高创作效率和质量。此外，该框架还可以用于教育领域，帮助学生提高写作能力和创造性思维。未来，该框架有望发展成为一个强大的内容生成工具，为各行各业提供支持。

📄 摘要（原文）

Generating a long story of several thousand words with narrative coherence using Large Language Models (LLMs) has been a challenging task. Previous research has addressed this challenge by proposing different frameworks that create a story plan and generate a long story based on that plan. However, these frameworks have been mainly focusing on maintaining narrative coherence in stories, often overlooking creativity in story planning and the expressiveness of the stories generated from those plans, which are desirable properties to captivate readers' interest. In this paper, we propose Collective Critics for Creative Story Generation framework (CritiCS), which is composed of plan refining stage (CrPlan) and story generation stage (CrText), to integrate a collective revision mechanism that promotes those properties into long-form story generation process. Specifically, in each stage, a group of LLM critics and one leader collaborate to incrementally refine drafts of plan and story throughout multiple rounds. Extensive human evaluation shows that the CritiCS can significantly enhance story creativity and reader engagement, while also maintaining narrative coherence. Furthermore, the design of the framework allows active participation from human writers in any role within the critique process, enabling interactive human-machine collaboration in story writing.