Video2Roleplay: A Multimodal Dataset and Framework for Video-Guided Role-playing Agents

📄 arXiv: 2509.15233v1 📥 PDF

作者: Xueqiao Zhang, Chao Zhang, Jingtao Xu, Yifan Zhu, Xin Shi, Yi Yang, Yawei Luo

分类: cs.MM, cs.CL, cs.CV

发布日期: 2025-09-17

备注: Accepted at EMNLP2025 Main

💡 一句话要点

提出Video2Roleplay框架，通过视频信息增强角色扮演Agent的动态感知能力

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 角色扮演Agent 视频理解 动态感知 多模态融合 大型语言模型 自适应采样 人机交互

📋 核心要点

  1. 现有角色扮演Agent主要依赖静态角色信息，缺乏动态感知能力，无法模拟人类在交互中的实时反应。
  2. 论文提出Video2Roleplay框架，通过整合视频信息，构建动态角色配置文件，提升Agent的感知和响应能力。
  3. 实验结果表明，该框架在角色扮演任务中表现出色，验证了动态角色配置文件对提升Agent性能的重要性。

📝 摘要（中文）

角色扮演Agent（RPA）因其模拟沉浸式和交互式角色的能力而备受关注。然而，现有方法主要关注静态角色配置文件，忽略了人类固有的动态感知能力。为了弥合这一差距，我们通过将视频模态引入RPA，提出了动态角色配置文件的概念。为此，我们构建了Role-playing-Video60k，一个大规模、高质量的数据集，包含6万个视频和70万个相应的对话。基于此数据集，我们开发了一个综合的RPA框架，该框架结合了自适应时间采样以及动态和静态角色配置文件表示。具体来说，动态配置文件通过自适应地采样视频帧并按时间顺序将其输入到LLM来创建，而静态配置文件包括（1）微调期间来自训练视频的角色对话，以及（2）推理期间来自输入视频的摘要上下文。这种联合集成使RPA能够生成更好的响应。此外，我们提出了一种包含八个指标的稳健评估方法。实验结果证明了我们框架的有效性，突出了动态角色配置文件在开发RPA中的重要性。

🔬 方法详解

问题定义：现有角色扮演Agent主要依赖静态的角色描述，无法根据交互过程中动态变化的环境和行为做出相应的反应。这导致Agent的交互体验不够真实和自然，限制了其应用范围。现有方法难以有效利用视频信息，缺乏对角色动态行为的建模能力。

核心思路：论文的核心思路是将视频信息融入角色扮演Agent中，构建动态的角色配置文件。通过分析视频内容，Agent可以感知角色的行为、表情和周围环境的变化，从而做出更自然、更符合情境的反应。这种动态感知能力使得Agent能够更好地模拟人类的交互行为。

技术框架：Video2Roleplay框架包含以下几个主要模块：1) 数据集构建：构建大规模视频对话数据集Role-playing-Video60k。2) 动态角色配置文件构建：通过自适应时间采样方法，从视频中提取关键帧，并将其输入到大型语言模型（LLM）中，生成动态角色表示。3) 静态角色配置文件构建：利用训练视频中的角色对话进行微调，并从输入视频中提取摘要上下文。4) 联合集成：将动态和静态角色配置文件进行融合，为Agent提供更全面的角色信息。5) 响应生成：基于融合的角色信息，Agent生成相应的对话响应。

关键创新：该论文的关键创新在于提出了动态角色配置文件的概念，并设计了一种有效的方法将其融入角色扮演Agent中。与现有方法相比，该方法能够更好地利用视频信息，提升Agent的动态感知能力和交互体验。自适应时间采样策略能够有效地提取视频中的关键信息，降低计算复杂度。

关键设计：在动态角色配置文件构建中，采用了自适应时间采样策略，根据视频内容的动态程度，调整采样频率。在静态角色配置文件构建中，利用了训练视频中的角色对话进行微调，使得Agent能够更好地学习角色的语言风格和行为模式。在联合集成中，采用了加权融合的方法，根据动态和静态角色配置文件的重要性，调整其权重。

📊 实验亮点

实验结果表明，Video2Roleplay框架在角色扮演任务中表现出色，显著提升了Agent的响应质量。通过与基线方法进行对比，该框架在多个评估指标上取得了显著提升，证明了动态角色配置文件在提升Agent性能方面的重要性。具体性能数据未知，但论文强调了其有效性。

🎯 应用场景

该研究成果可应用于虚拟助手、游戏角色、在线教育等领域。通过赋予Agent动态感知能力，可以提升用户交互体验，使其更加自然和沉浸。例如，在游戏中，Agent可以根据玩家的行为和环境变化做出相应的反应，从而提供更具挑战性和趣味性的游戏体验。在在线教育中，Agent可以根据学生的学习进度和反馈，提供个性化的辅导和支持。

📄 摘要（原文）

Role-playing agents (RPAs) have attracted growing interest for their ability to simulate immersive and interactive characters. However, existing approaches primarily focus on static role profiles, overlooking the dynamic perceptual abilities inherent to humans. To bridge this gap, we introduce the concept of dynamic role profiles by incorporating video modality into RPAs. To support this, we construct Role-playing-Video60k, a large-scale, high-quality dataset comprising 60k videos and 700k corresponding dialogues. Based on this dataset, we develop a comprehensive RPA framework that combines adaptive temporal sampling with both dynamic and static role profile representations. Specifically, the dynamic profile is created by adaptively sampling video frames and feeding them to the LLM in temporal order, while the static profile consists of (1) character dialogues from training videos during fine-tuning, and (2) a summary context from the input video during inference. This joint integration enables RPAs to generate greater responses. Furthermore, we propose a robust evaluation method covering eight metrics. Experimental results demonstrate the effectiveness of our framework, highlighting the importance of dynamic role profiles in developing RPAs.