StageDesigner: Artistic Stage Generation for Scenography via Theater Scripts

📄 arXiv: 2503.02595v1 📥 PDF

作者: Zhaoxing Gan, Mengtian Li, Ruhua Chen, Zhongxia Ji, Sichen Guo, Huanling Hu, Guangnan Ye, Zuo Hu

分类: cs.CV, cs.AI

发布日期: 2025-03-04

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

StageDesigner：利用剧本生成艺术化舞台场景的综合框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 舞台场景生成 大型语言模型 扩散模型 3D场景 剧本分析

📋 核心要点

  1. 现有方法难以根据剧本自动生成符合艺术要求的舞台场景，缺乏对舞台美术专业性的考虑。
  2. StageDesigner通过模拟艺术家工作流程，利用大型语言模型和布局控制扩散模型生成沉浸式3D舞台场景。
  3. 实验结果表明，StageDesigner在舞台场景生成任务上表现出色，并通过用户研究验证了其有效性。

📝 摘要（中文）

本文介绍StageDesigner，这是一个综合框架，它结合大型语言模型和布局控制扩散模型，用于生成艺术化的舞台场景。考虑到舞台美术的专业要求，StageDesigner模拟经验丰富的艺术家的工作流程，以生成沉浸式3D舞台场景。具体来说，我们的方法分为三个主要模块：剧本分析，从输入剧本中提取主题和空间线索；前景生成，构建和排列必要的3D对象；以及背景生成，产生与叙事氛围相协调的背景，并通过管理前景和背景元素之间的遮挡来保持空间连贯性。此外，我们引入了StagePro-V1数据集，这是一个专门的数据集，包含276个独特的舞台场景，涵盖不同的历史风格，并注释有剧本、图像和详细的3D布局，专门为这项任务定制。最后，使用标准和新提出的指标进行的评估，以及广泛的用户研究，证明了StageDesigner的有效性。

🔬 方法详解

问题定义：论文旨在解决根据剧本自动生成高质量、艺术化的3D舞台场景的问题。现有方法在理解剧本语义、控制场景布局以及保证前景与背景协调性方面存在不足，难以满足舞台美术的专业要求。

核心思路：论文的核心思路是模拟经验丰富的舞台美术设计师的工作流程，将场景生成过程分解为剧本分析、前景生成和背景生成三个阶段。通过大型语言模型理解剧本，提取主题和空间线索，然后利用布局控制扩散模型生成符合要求的3D场景元素。

技术框架：StageDesigner包含三个主要模块：1) 剧本分析：利用大型语言模型从剧本中提取主题和空间线索，为后续场景生成提供指导。2) 前景生成：根据剧本分析的结果，构建和排列必要的3D对象，构成舞台场景的主要元素。3) 背景生成：生成与叙事氛围相协调的背景，并通过管理前景和背景元素之间的遮挡来保持空间连贯性。

关键创新：该论文的关键创新在于提出了一个综合性的舞台场景生成框架，该框架结合了大型语言模型和布局控制扩散模型，能够根据剧本自动生成符合艺术要求的3D舞台场景。此外，论文还构建了一个专门用于舞台场景生成任务的数据集StagePro-V1。

关键设计：论文中使用了大型语言模型进行剧本分析，提取关键信息。布局控制扩散模型用于生成3D对象和背景，并通过控制布局来保证场景的空间连贯性。具体的技术细节，例如损失函数、网络结构等，在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了StagePro-V1数据集，包含276个独特的舞台场景，涵盖不同的历史风格，并注释有剧本、图像和详细的3D布局。实验结果表明，StageDesigner在舞台场景生成任务上表现出色，并通过用户研究验证了其有效性。具体的性能数据和提升幅度在摘要中未明确给出，属于未知信息。

🎯 应用场景

StageDesigner可应用于虚拟舞台设计、电影制作、游戏开发等领域，为艺术家和设计师提供高效的创作工具，降低舞台场景设计的成本和时间。该研究的成果有助于推动虚拟现实和增强现实技术在艺术领域的应用，并为观众带来更具沉浸感的视听体验。

📄 摘要（原文）

In this work, we introduce StageDesigner, the first comprehensive framework for artistic stage generation using large language models combined with layout-controlled diffusion models. Given the professional requirements of stage scenography, StageDesigner simulates the workflows of seasoned artists to generate immersive 3D stage scenes. Specifically, our approach is divided into three primary modules: Script Analysis, which extracts thematic and spatial cues from input scripts; Foreground Generation, which constructs and arranges essential 3D objects; and Background Generation, which produces a harmonious background aligned with the narrative atmosphere and maintains spatial coherence by managing occlusions between foreground and background elements. Furthermore, we introduce the StagePro-V1 dataset, a dedicated dataset with 276 unique stage scenes spanning different historical styles and annotated with scripts, images, and detailed 3D layouts, specifically tailored for this task. Finally, evaluations using both standard and newly proposed metrics, along with extensive user studies, demonstrate the effectiveness of StageDesigner. Project can be found at: https://deadsmither5.github.io/2025/01/03/StageDesigner/