Improving Diversity in LLM Short Story Generation

📄 arXiv: 2610.06729v1 📥 PDF

作者: Zahra Solati Dehkordi, Vasileios Lampos

分类: cs.CL

发布日期: 2026-10-05

💡 一句话要点

提出DivLM框架以解决LLM短篇故事生成的多样性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 短篇故事生成 多样性优化 创意写作 强化学习

📋 核心要点

  1. 现有大型语言模型在生成短篇故事时缺乏多样性，导致输出内容单一，无法满足创意写作的需求。
  2. 本文提出DivLM框架，通过继续预训练和强化学习，提升生成内容在多样性和质量上的平衡。
  3. 实验结果表明，DivLM在多样性指标上平均提升超过9%，同时保持了高质量的响应和与人类输出的相似性。

📝 摘要（中文）

大型语言模型（LLMs）能够生成准确的响应，但缺乏多样性。本文针对创意短篇故事生成任务，提出了DivLM，一个LLM后训练框架，旨在提高生成内容在体裁、语调、风格和命名实体等维度的多样性。该框架包括两个阶段：首先在创意写作语料上进行继续预训练，并利用权重残差恢复指令跟随能力；然后应用强化学习，使用自定义复合奖励函数，最大化目标叙事维度的多样性，同时保持响应质量。实验证明，DivLM在两个LLM家族上平均提高了9%以上的多样性指标，同时保持了指令跟随和整体响应质量。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在短篇故事生成中缺乏多样性的问题。现有方法往往生成内容单一，无法有效满足创意写作的多样性需求。

核心思路：提出DivLM框架，通过继续预训练和强化学习，针对体裁、语调、风格和命名实体等维度进行多样性优化，以提高生成内容的创意性和丰富性。

技术框架：DivLM框架分为两个主要阶段：第一阶段是在创意写作语料上进行继续预训练，恢复模型的指令跟随能力；第二阶段是应用强化学习，使用复合奖励函数来最大化多样性和保持响应质量。

关键创新：DivLM的主要创新在于结合了继续预训练和强化学习，通过复合奖励函数实现多维度的多样性优化，这与传统方法的单一优化目标形成鲜明对比。

关键设计：在设计中，使用了权重残差来恢复指令跟随能力，并设计了一个自定义的复合奖励函数，以同时考虑多样性和质量，确保生成内容的丰富性和可读性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，DivLM在两个大型语言模型家族上平均提高了9%以上的多样性指标，相较于其他方法，显著提升了生成内容的多样性，同时保持了高质量的响应和与人类输出的相似性。

🎯 应用场景

该研究的潜在应用领域包括创意写作、游戏设计、影视剧本创作等，能够为作家和创作者提供更具多样性的内容生成工具，提升创作效率和灵感。未来，DivLM框架可能推动更多领域的自动化内容生成，促进人机协作的创意工作。

📄 摘要（原文）

Large language models (LLMs) can generate accurate responses, but these are void of diversity. We attempt to address this for the task of creative short story generation. Drawing on established writing conventions and known LLM limitations, we target variation in genre, tone, style, and named entities. To promote diversity across these dimensions, we introduce DivLM, an LLM post-training framework consisting of two phases. First, we perform continued pre-training on a creative writing corpus and restore instruction-following capabilities using weight residuals. We then apply reinforcement learning with a custom, composite reward function that jointly maximizes diversity across the targeted narrative dimensions while maintaining response quality. Our empirical results on two LLM families show that DivLM increases diversity metrics by more than 9% on average compared to alternative approaches, while preserving instruction following, overall response quality, and similarity to human outputs.