HAMLET: Hyperadaptive Agent-based Modeling for Live Embodied Theatrics
作者: Sizhou Chen, Shufan Jiang, Chi Zhang, Xiao-Lei Zhang, Xuelong Li
分类: cs.AI, cs.MA
发布日期: 2025-07-21 (更新: 2025-11-30)
备注: This submission has been withdrawn due to unresolved issues concerning author order and potential conflicts of interest between author affiliations. The authors will resubmit once these matters are fully resolved
💡 一句话要点
HAMLET：用于实时具身戏剧的超自适应Agent建模框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能 多Agent系统 大型语言模型 戏剧生成 实时互动
📋 核心要点
- 现有基于LLM的戏剧生成方法缺乏主动性，难以与物理场景互动，且依赖详细的用户输入，限制了实时表演的互动性和沉浸感。
- HAMLET框架通过为每个演员赋予自主意识，使其能够基于自身背景、目标和情感状态做出独立决策，从而实现更自然的互动。
- 实验评估表明，HAMLET能够生成富有表现力和连贯性的戏剧体验，在角色表现、叙事质量和互动体验方面表现良好。
📝 摘要（中文）
本文提出HAMLET，一个专注于戏剧创作和在线表演的多Agent框架，旨在创造沉浸式和交互式的戏剧体验。该框架利用大型语言模型（LLM）为每个演员赋予自主意识，使其能够基于自身背景、目标和情感状态做出独立决策。给定一个简单的主题，HAMLET生成叙事蓝图，指导后续的即兴表演。演员的决策不仅包括与其他演员的对话，还可以通过诸如打开信件或拿起武器等动作来改变场景道具的状态。这些改变会广播给其他相关演员，更新他们的认知和关注点，进而影响他们的后续行动。为了评估HAMLET生成的戏剧表演质量，设计了一种评估方法，从角色表现、叙事质量和互动体验三个主要方面进行评估。实验结果表明，HAMLET能够创造富有表现力和连贯性的戏剧体验。
🔬 方法详解
问题定义：现有基于大型语言模型的戏剧生成方法，在实时具身戏剧场景中存在不足。具体来说，这些方法生成的Agent缺乏自主性和主动性，无法有效地与物理场景进行交互，并且过度依赖详细的用户输入来驱动剧情发展，导致互动性和沉浸感降低。因此，需要一种能够生成更具自主性、能够与环境互动的Agent，并且能够根据简单的主题生成引人入胜的戏剧体验的框架。
核心思路：HAMLET的核心思路是构建一个多Agent系统，其中每个Agent都拥有一个自主的“大脑”，能够根据自身的背景、目标和情感状态独立做出决策。这些决策不仅包括与其他Agent的对话，还包括与物理环境的互动，例如操作场景道具。通过Agent之间的互动和对环境的感知，驱动剧情发展，从而创造更具沉浸感和互动性的戏剧体验。
技术框架：HAMLET框架包含以下几个主要模块：1) 叙事蓝图生成器：给定一个简单的主题，生成一个高层次的叙事蓝图，作为后续即兴表演的指导。2) Agent大脑：为每个演员赋予一个自主的“大脑”，包含角色背景、目标、情感状态等信息，并能够根据这些信息做出决策。3) 环境感知模块：负责感知场景中道具的状态变化，并将这些变化广播给相关的Agent。4) 决策模块：根据Agent的“大脑”和环境感知信息，生成Agent的行动，包括对话和与环境的互动。5) 评估模块：从角色表现、叙事质量和互动体验三个方面评估生成的戏剧表演质量。
关键创新：HAMLET的关键创新在于其超自适应的Agent建模方法。与传统的基于规则或脚本的Agent不同，HAMLET中的Agent能够根据自身的内部状态和外部环境的变化，动态地调整自己的行为。这种超自适应性使得Agent能够更自然地与其他Agent和环境进行互动，从而创造更具沉浸感的戏剧体验。此外，HAMLET还引入了一种新的评估方法，用于评估生成的戏剧表演质量。
关键设计：HAMLET框架中，Agent的“大脑”可以使用大型语言模型进行建模，例如GPT-3或类似的模型。Agent的情感状态可以使用情感词典或情感分析模型进行建模。环境感知模块可以使用计算机视觉技术或传感器来实现。决策模块可以使用强化学习或规划算法来实现。具体的参数设置、损失函数、网络结构等技术细节取决于具体的实现方式，论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
论文设计了一种评估方法来评估HAMLET生成的戏剧表演质量，从角色表现、叙事质量和互动体验三个主要方面进行评估。实验结果表明，HAMLET能够创造富有表现力和连贯性的戏剧体验。具体的性能数据、对比基线和提升幅度在论文中未详细给出，属于未知信息。
🎯 应用场景
HAMLET框架具有广泛的应用前景，可用于在线戏剧表演、虚拟现实游戏、教育培训等领域。通过构建具有自主意识和互动能力的虚拟角色，可以创造更具沉浸感和互动性的用户体验。例如，在教育领域，可以使用HAMLET框架构建虚拟情境，让学生在模拟环境中进行角色扮演和互动，从而提高学习效果。在游戏领域，可以使用HAMLET框架构建更具智能和个性的NPC，从而提高游戏的可玩性和沉浸感。
📄 摘要（原文）
Creating an immersive and interactive theatrical experience is a long-term goal in the field of interactive narrative. The emergence of large language model (LLM) is providing a new path to achieve this goal. However, existing LLM-based drama generation methods often result in agents that lack initiative and cannot interact with the physical scene. Furthermore, these methods typically require detailed user input to drive the drama. These limitations reduce the interactivity and immersion of online real-time performance. To address the above challenges, we propose HAMLET, a multi-agent framework focused on drama creation and online performance. Given a simple topic, the framework generates a narrative blueprint, guiding the subsequent improvisational performance. During the online performance, each actor is given an autonomous mind. This means that actors can make independent decisions based on their own background, goals, and emotional state. In addition to conversations with other actors, their decisions can also change the state of scene props through actions such as opening a letter or picking up a weapon. The change is then broadcast to other related actors, updating what they know and care about, which in turn influences their next action. To evaluate the quality of drama performance generated by HAMLET, we designed an evaluation method to assess three primary aspects, including character performance, narrative quality, and interaction experience. The experimental evaluation shows that HAMLET can create expressive and coherent theatrical experiences.