PlotTwist: A Creative Plot Generation Framework with Small Language Models

📄 arXiv: 2603.16410v1 📥 PDF

作者: Abhinav Thorat, Ravi Kolla, Jyotin Goel, Niranjan Pedanekar

分类: cs.CL, cs.AI

发布日期: 2026-03-17

备注: 30 pages, 3 figures

💡 一句话要点

PlotTwist：一种利用小型语言模型进行创造性情节生成的框架，性能媲美大型模型。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情节生成 小型语言模型 偏好对齐 混合专家模型 叙事质量评估

📋 核心要点

  1. 现有大型语言模型在创造性情节生成方面存在计算成本高昂和可访问性受限的问题。
  2. PlotTwist框架通过分解生成过程，利用小型语言模型，并采用偏好对齐策略，实现了高效的情节生成。
  3. 实验表明，PlotTwist在叙事质量上优于大型模型，并能有效区分高质量和低质量剧本。

📝 摘要（中文）

创造性情节生成对语言模型提出了根本性挑战：如何将简洁的前提转化为连贯的叙事，维持全局结构、角色发展和情感共鸣。尽管最近的大型语言模型（LLMs）在通用任务中表现出强大的流畅性，但它们通常需要偏好对齐才能在创造性情节生成等专业领域表现良好。然而，在大型LLM上进行这种对齐在计算上是令人望而却步的，极大地限制了可访问性和实际部署。为了解决这个问题，我们提出了PlotTwist，一个结构化框架，它使参数≤5B的小型语言模型（SLMs）能够生成高质量的、以情节为条件的、可与高达200倍规模的前沿系统相媲美的情节。我们的方法将生成分解为三个专门的组件：（1）一个方面评级奖励模型，通过一种新颖的正负提示策略进行训练，以提供跨五个叙事质量维度（NQDs）的结构化叙事；（2）一个混合专家（MoE）情节生成器，通过直接偏好优化在高置信度偏好对上进行对齐；（3）一个代理评估模块，模拟人类批判性判断，用于公正的事后评估。广泛的实验表明，尽管容量限制明显更严格，但PlotTwist在多个NQDs上始终优于前沿模型。进一步的验证证实了对叙事质量的强烈敏感性，因为该框架可靠地区分了来自广受好评与广受批评的剧本的情节。总之，这些结果表明，结构化的、基于偏好的对齐是高质量创造性情节生成的一种资源高效的方法。

🔬 方法详解

问题定义：论文旨在解决创造性情节生成任务中，大型语言模型计算成本高昂，难以部署的问题。现有方法通常需要对大型模型进行偏好对齐，这在计算资源上是不可行的，限制了该技术在实际应用中的普及。

核心思路：论文的核心思路是利用小型语言模型（SLMs），通过结构化的框架和偏好对齐策略，使其能够生成与大型模型相媲美的高质量情节。通过将情节生成分解为多个专门的组件，并对每个组件进行优化，从而降低了对模型规模的依赖。

技术框架：PlotTwist框架包含三个主要模块： 1. 方面评级奖励模型 (Aspect Rating Reward Model)：用于评估生成情节在五个叙事质量维度（NQDs）上的表现，通过正负提示策略进行训练。 2. 混合专家情节生成器 (Mixture-of-Experts Plot Generator)：一个MoE模型，通过直接偏好优化（DPO）在高质量偏好对上进行对齐，负责生成情节。 3. 代理评估模块 (Agentic Evaluation Module)：模拟人类的批判性判断，用于对生成的情节进行公正的事后评估。

关键创新：该论文的关键创新在于提出了一种结构化的框架，该框架允许小型语言模型在创造性情节生成任务中达到与大型模型相当的性能。通过将生成过程分解为多个专门的组件，并采用偏好对齐策略，该框架降低了对模型规模的依赖，使得资源受限的场景也能进行高质量的情节生成。正负提示策略和代理评估模块也是重要的创新点。

关键设计： * 正负提示策略：用于训练方面评级奖励模型，通过对比正面和负面示例，提高模型对叙事质量的判断能力。 * 直接偏好优化 (DPO)：用于对齐混合专家情节生成器，通过优化偏好对，提高生成情节的质量。 * 叙事质量维度 (NQDs)：定义了五个用于评估情节质量的维度，包括连贯性、角色发展、情感共鸣等。具体维度定义未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PlotTwist框架在多个叙事质量维度（NQDs）上始终优于前沿模型，尽管其模型规模远小于这些模型。该框架能够可靠地区分来自广受好评与广受批评的剧本的情节，验证了其对叙事质量的敏感性。具体性能数据和提升幅度未知。

🎯 应用场景

PlotTwist框架可应用于电影、电视剧、游戏等创意产业的情节生成，辅助编剧进行创作，提高创作效率。该框架的资源高效性使其能够在计算资源有限的环境中使用，例如独立游戏开发或低成本电影制作。此外，该框架还可以用于教育领域，帮助学生学习情节构建和叙事技巧。

📄 摘要（原文）

Creative plot generation presents a fundamental challenge for language models: transforming a concise premise into a coherent narrative that sustains global structure, character development, and emotional resonance. Although recent Large Language Models (LLMs) demonstrate strong fluency across general-purpose tasks, they typically require preference alignment to perform well on specialized domains such as creative plot generation. However, conducting such alignment at the scale of frontier LLMs is computationally prohibitive, significantly limiting accessibility and practical deployment. To address this, we present PlotTwist, a structured framework that enables Small Language Models (SLMs) with $\leq$ 5B active parameters to generate high-quality, premise-conditioned plots competitive with frontier systems up to $200\times$ larger. Our approach decomposes generation into three specialized components: (1) an Aspect Rating Reward Model trained via a novel Positive-Negative prompting strategy to deliver structured narratives across five Narrative Quality Dimensions (NQDs); (2) a Mixture-of-Experts (MoE) plot generator aligned via Direct Preference Optimization on high-confidence preference pairs; and (3) an Agentic Evaluation module that emulates human critical judgment for unbiased post-hoc assessment. Extensive experiments demonstrate that PlotTwist consistently outperforms frontier models across multiple NQDs despite substantially tighter capacity constraints. Further validation confirms strong sensitivity to narrative quality, as the framework reliably distinguishes plots derived from critically acclaimed versus widely panned screenplays. Together, these results establish structured, preference-based alignment as a resource-efficient approach to high-quality creative plot generation.