MMS Player: an open source software for parametric data-driven animation of Sign Language avatars

📄 arXiv: 2507.16463v1 📥 PDF

作者: Fabrizio Nunnari, Shailesh Mishra, Patrick Gebhard

分类: cs.GR, cs.CL

发布日期: 2025-07-22

🔗 代码/项目: GITHUB

💡 一句话要点

MMS Player：一个用于手语化身参数化数据驱动动画的开源软件

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手语动画 参数化动画 开源软件 Blender MMS格式

📋 核心要点

  1. 现有的手语动画方法通常缺乏对手语中并行执行、时序和屈折变化的精细控制。
  2. MMS-Player通过引入MMS格式，增强了对手语动画的参数化控制，支持更自然的手语表达。
  3. 该软件基于Blender 3D，提供命令行和HTTP API，方便集成和使用，并支持多种动画格式导出。

📝 摘要（中文）

本文介绍MMS-Player，这是一个开源软件，能够从一种名为MMS（MultiModal Signstream）的新型手语表示格式中合成手语动画。MMS通过添加有关手语并行执行、时序和屈折变化的信息来增强基于词汇的表示。该实现包括用于流行的Blender 3D创作工具的Python脚本，可以通过命令行或HTTP API调用。动画可以渲染为视频或导出为其他流行的3D动画交换格式。该软件在GPL-3.0许可下免费提供，网址为https://github.com/DFKI-SignLanguage/MMS-Player。

🔬 方法详解

问题定义：现有手语动画生成方法在表达手语的复杂性方面存在局限性，尤其是在处理手语的并行性、时间控制和语调变化方面。传统的基于词汇的表示方法难以捕捉这些细微之处，导致生成的动画不够自然和流畅。因此，需要一种更精细、更参数化的手语表示方法和相应的动画生成工具。

核心思路：MMS-Player的核心思路是引入一种新的手语表示格式——MMS（MultiModal Signstream），该格式不仅包含手语的词汇信息，还包括手语执行的并行性、时间信息和语调变化。通过这种增强的表示，可以更精确地控制手语动画的生成过程，从而产生更自然、更具表现力的手语动画。

技术框架：MMS-Player的整体框架包括以下几个主要部分：1) MMS格式的定义，用于表示手语的各种参数；2) 基于Python的Blender脚本，用于解析MMS格式并生成相应的3D动画；3) 命令行和HTTP API，用于方便地调用动画生成功能；4) 动画渲染和导出模块，支持将动画渲染为视频或导出为其他3D动画格式。

关键创新：MMS-Player的关键创新在于MMS格式的引入，它扩展了传统基于词汇的手语表示方法，使其能够包含更丰富的手语信息。这种新的表示方法使得对手语动画的参数化控制成为可能，从而可以生成更自然、更具表现力的手语动画。

关键设计：MMS格式的具体设计包括对以下信息的编码：手语的词汇信息、手语执行的起始和结束时间、手语各个部分的并行执行关系、手语的语调变化（例如，手势的大小、速度和方向）。Blender脚本则负责将这些信息转换为3D动画，并提供灵活的参数调整接口，以便用户可以根据需要调整动画的细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MMS-Player的主要亮点在于其开源性和灵活性。它基于流行的Blender 3D创作工具，并提供命令行和HTTP API，方便集成到各种应用中。此外，MMS格式的引入使得手语动画的参数化控制成为可能，从而可以生成更自然、更具表现力的手语动画。该软件在GPL-3.0许可下免费提供，鼓励社区参与和贡献。

🎯 应用场景

MMS-Player具有广泛的应用前景，包括手语教学、手语翻译、虚拟助手和游戏开发等领域。它可以用于创建高质量的手语动画，帮助听力障碍者更好地理解和学习手语。此外，它还可以用于开发更自然、更人性化的虚拟助手，以及为游戏角色添加逼真的手语动画。

📄 摘要（原文）

This paper describes the MMS-Player, an open source software able to synthesise sign language animations from a novel sign language representation format called MMS (MultiModal Signstream). The MMS enhances gloss-based representations by adding information on parallel execution of signs, timing, and inflections. The implementation consists of Python scripts for the popular Blender 3D authoring tool and can be invoked via command line or HTTP API. Animations can be rendered as videos or exported in other popular 3D animation exchange formats. The software is freely available under GPL-3.0 license at https://github.com/DFKI-SignLanguage/MMS-Player.