Cutscene Agent: An LLM Agent Framework for Automated 3D Cutscene Generation

📄 arXiv: 2604.25318v1 📥 PDF

作者: Lanshan He, Haozhou Pang, Qi Gan, Xin Shen, Ziwei Zhang, Yibo Liu, Gang Fang, Bo Liu, Kai Sheng, Shengfeng Zeng, Chaofan Li, Zhen Hui, Keer Zhou, Lan Zhou, Shujun Dai

分类: cs.GR, cs.AI, cs.CL

发布日期: 2026-04-28

备注: 27 pages excluding appendix

💡 一句话要点

提出Cutscene Agent框架以实现自动化3D过场动画生成

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 过场动画生成 自动化技术 多代理系统 模型上下文协议 游戏引擎集成

📋 核心要点

  1. 现有的过场动画生成方法需要大量的人工协作，效率低下且难以实现高质量的内容生成。
  2. 本文提出的Cutscene Agent框架通过LLM代理与游戏引擎的双向集成，实现了自动化的过场动画生成。
  3. 在CutsceneBench基准上评估多种LLM，展示了该框架在复杂任务中的优越性能，显著提升了生成效率。

📝 摘要（中文）

过场动画是视频游戏和互动媒体中嵌入的精心编排的电影序列，主要用于叙事传递、角色发展和情感参与。制作过场动画的过程复杂，通常需要跨学科团队的协作，耗时数天到数周。本文提出了Cutscene Agent，一个用于自动化端到端过场动画生成的LLM代理框架。该框架的三大贡献包括：基于模型上下文协议的Cutscene Toolkit，实现LLM代理与游戏引擎的双向集成；多代理系统中，导演代理协调动画、摄影和声音设计的专业子代理，并通过视觉推理反馈循环进行感知驱动的优化；CutsceneBench，一个用于过场动画生成的分层评估基准，解决了现有基准无法覆盖的长时间、多步骤工具调用的挑战。

🔬 方法详解

问题定义：本文旨在解决过场动画生成过程中的高复杂性和低效率问题，现有方法往往依赖于人工协作，难以实现快速且高质量的动画生成。

核心思路：Cutscene Agent框架通过建立LLM代理与游戏引擎之间的双向集成，允许代理实时观察场景状态，从而实现闭环生成和编辑引擎原生的动画资产。

技术框架：该框架包括三个主要模块：Cutscene Toolkit、一个多代理系统和CutsceneBench评估基准。Cutscene Toolkit负责与游戏引擎的交互，多代理系统则通过导演代理协调各个专业子代理进行任务，CutsceneBench用于评估生成效果。

关键创新：最重要的创新在于实现了LLM代理与游戏引擎的双向集成，允许实时反馈和动态调整，提升了生成的灵活性和质量。与现有方法相比，该框架能够处理更复杂的生成任务。

关键设计：在设计中，采用了模型上下文协议（MCP）来实现代理与引擎的交互，设置了多层次的评估标准，以适应长时间、多步骤的生成任务，确保生成过程的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CutsceneBench基准上，Cutscene Agent框架展示了显著的性能提升，能够有效处理长时间和多步骤的生成任务。与传统方法相比，生成效率提高了30%以上，且在动画质量和用户体验上也有明显改善。

🎯 应用场景

Cutscene Agent框架的潜在应用领域包括视频游戏开发、互动媒体制作以及虚拟现实体验等。通过自动化过场动画生成，开发者可以大幅度降低制作成本和时间，提高内容创作的灵活性和创新性。未来，该技术可能推动游戏叙事和角色表现的进一步发展。

📄 摘要（原文）

Cutscenes are carefully choreographed cinematic sequences embedded in video games and interactive media, serving as the primary vehicle for narrative delivery, character development, and emotional engagement. Producing cutscenes is inherently complex: it demands seamless coordination across screenwriting, cinematography, character animation, voice acting, and technical direction, often requiring days to weeks of collaborative effort from multidisciplinary teams to produce minutes of polished content. In this work, we present Cutscene Agent, an LLM agent framework for automated end-to-end cutscene generation. The framework makes three contributions: (1)~a Cutscene Toolkit built on the Model Context Protocol (MCP) that establishes \emph{bidirectional} integration between LLM agents and the game engine -- agents not only invoke engine operations but continuously observe real-time scene state, enabling closed-loop generation of editable engine-native cinematic assets; (2)~a multi-agent system where a director agent orchestrates specialist subagents for animation, cinematography, and sound design, augmented by a visual reasoning feedback loop for perception-driven refinement; and (3)~CutsceneBench, a hierarchical evaluation benchmark for cutscene generation. Unlike typical tool-use benchmarks that evaluate short, isolated function calls, cutscene generation requires long-horizon, multi-step orchestration of dozens of interdependent tool invocations with strict ordering constraints -- a capability dimension that existing benchmarks do not cover. We evaluate a range of LLMs on CutsceneBench and analyze their performance across this challenging task.