Ex3: Automatic Novel Writing by Extracting, Excelsior and Expanding

📄 arXiv: 2408.08506v2 📥 PDF

作者: Lei Huang, Jiaming Guo, Guanhua He, Xishan Zhang, Rui Zhang, Shaohui Peng, Shaoli Liu, Tianshi Chen

分类: cs.CL, cs.AI

发布日期: 2024-08-16 (更新: 2024-09-01)

💡 一句话要点

Ex3：通过抽取、精进与扩展实现自动小说创作

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 小说创作 大型语言模型 结构化学习 指令微调

📋 核心要点

  1. 现有方法在利用大型语言模型生成长篇小说时，存在情节逻辑性差、人物刻画不足等问题，影响叙事质量。
  2. Ex3方法的核心在于从原始小说中提取结构信息，构建指令数据集微调LLM，并采用树状扩展方法生成长篇小说。
  3. 实验结果表明，Ex3方法能够生成更高质量的长篇小说，优于以往的方法，提升了长文本生成的质量。

📝 摘要（中文）

使用人工智能生成长篇文本（如小说）一直是一个挑战。常见方法是利用大型语言模型（LLMs）构建分层框架，先进行情节规划，然后进行内容写作。尽管生成的小说在长度上足够，但其情节的逻辑连贯性和吸引力较差，人物和事件的描写也存在缺陷，最终影响了整体叙事质量。本文提出了一种名为Extracting Excelsior and Expanding (Ex3) 的方法。Ex3 首先从原始小说数据中提取结构信息，然后将这些结构信息与小说数据相结合，精心制作一个指令遵循数据集。该数据集用于微调LLM，以期获得卓越的生成性能。最后，采用树状扩展方法来促进任意长度小说的生成。与先前方法的评估对比表明，Ex3 能够生成更高质量的长篇小说。

🔬 方法详解

问题定义：论文旨在解决使用大型语言模型生成长篇小说时，情节逻辑连贯性差、人物和事件描写不足的问题。现有方法通常采用分层框架，先规划后写作，但难以保证长篇叙事的整体质量和吸引力。

核心思路：Ex3的核心思路是首先从现有小说中学习结构信息，然后利用这些结构信息指导大型语言模型的生成过程。通过提取小说的内在逻辑和情节发展模式，并将其融入到LLM的训练中，从而提高生成小说的质量和连贯性。

技术框架：Ex3方法包含三个主要阶段：1) 抽取 (Extracting)：从原始小说数据中提取结构信息，例如情节线索、人物关系等。2) 精进 (Excelsior)：将提取的结构信息与原始小说数据结合，构建一个指令遵循数据集，用于微调LLM。3) 扩展 (Expanding)：采用树状扩展方法，逐步生成小说的各个部分，最终形成完整的小说。

关键创新：Ex3的关键创新在于将结构信息显式地融入到长篇小说的生成过程中。与以往直接使用LLM生成长文本的方法不同，Ex3通过学习现有小说的结构，并利用这些结构指导LLM的生成，从而提高了生成小说的逻辑性和连贯性。

关键设计：论文中关键的设计包括：结构信息的提取方法（具体如何抽取结构信息未知），指令数据集的构建方式（如何将结构信息与小说数据结合未知），以及树状扩展方法的具体实现（如何进行树状扩展，以及如何保证扩展过程的连贯性未知）。此外，LLM微调的具体参数设置和损失函数也可能对最终生成效果产生影响（具体细节未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了Ex3方法在长篇小说生成方面的有效性。与现有方法相比，Ex3能够生成更高质量、更具逻辑性和连贯性的小说。具体的性能数据和对比基线在摘要中没有明确给出，需要查阅论文全文才能获取。

🎯 应用场景

该研究成果可应用于自动内容创作、智能写作辅助、游戏剧情生成等领域。通过学习和模仿现有小说的结构和风格，可以帮助作者快速生成高质量的长篇文本，提高创作效率。此外，该技术还可以用于构建智能对话系统，使其能够生成更具逻辑性和连贯性的对话内容。

📄 摘要（原文）

Generating long-term texts such as novels using artificial intelligence has always been a challenge. A common approach is to use large language models (LLMs) to construct a hierarchical framework that first plans and then writes. Despite the fact that the generated novels reach a sufficient length, they exhibit poor logical coherence and appeal in their plots and deficiencies in character and event depiction, ultimately compromising the overall narrative quality. In this paper, we propose a method named Extracting Excelsior and Expanding. Ex3 initially extracts structure information from raw novel data. By combining this structure information with the novel data, an instruction-following dataset is meticulously crafted. This dataset is then utilized to fine-tune the LLM, aiming for excelsior generation performance. In the final stage, a tree-like expansion method is deployed to facilitate the generation of arbitrarily long novels. Evaluation against previous methods showcases Ex3's ability to produce higher-quality long-form novels.