TSTMotion: Training-free Scene-aware Text-to-motion Generation

📄 arXiv: 2505.01182v2 📥 PDF

作者: Ziyan Guo, Haoxuan Qu, Hossein Rahmani, Dewen Soh, Ping Hu, Qiuhong Ke, Jun Liu

分类: cs.CV, cs.AI

发布日期: 2025-05-02 (更新: 2025-05-05)

备注: Accepted by ICME2025

💡 一句话要点

提出TSTMotion，一种免训练的场景感知文本到动作生成框架

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到动作生成 场景感知 免训练学习 基础模型 动作指导

📋 核心要点

  1. 现有场景感知文本到动作生成方法依赖于大量真实场景中的动作序列，获取成本高昂，限制了其应用。
  2. TSTMotion框架利用预训练的空白背景动作生成器，结合基础模型推理场景感知的动作指导，无需额外训练即可实现场景感知。
  3. 实验结果表明，TSTMotion框架能够有效地生成与场景交互的动作序列，并具有良好的泛化能力。

📝 摘要（中文）

本文提出了一种免训练的场景感知文本到动作生成框架TSTMotion，旨在解决现有方法依赖大规模场景动作数据的问题。该框架利用预训练的空白背景动作生成器，并赋予其场景感知能力。具体而言，给定3D场景和文本描述，框架采用基础模型来推理、预测和验证场景感知的动作指导。然后，通过两个关键修改，将动作指导融入空白背景动作生成器，从而生成场景感知的文本驱动动作序列。大量实验证明了该框架的有效性和泛化能力。

🔬 方法详解

问题定义：现有场景感知的文本到动作生成方法需要依赖大量带有场景信息的动作数据进行训练，而获取这些数据的成本非常高昂。这限制了这些方法在实际场景中的应用，因为很难收集到足够多的、覆盖各种场景和动作组合的数据。

核心思路：TSTMotion的核心思路是利用已有的、在空白背景下训练好的文本到动作生成模型，通过引入场景信息来引导动作的生成，从而实现场景感知。关键在于如何有效地利用场景信息，并且避免重新训练整个模型。

技术框架：TSTMotion框架主要包含以下几个阶段：1) 场景理解和动作指导生成：利用基础模型（如大型语言模型和视觉模型）理解输入的3D场景和文本描述，并生成一个场景感知的动作指导。这个动作指导描述了在给定场景下，文本描述的动作应该如何执行。2) 动作指导融合：将生成的动作指导融入到预训练的空白背景动作生成器中。论文中提到了两个关键的修改来实现这一融合。3) 动作生成：利用修改后的动作生成器，生成最终的场景感知的动作序列。

关键创新：TSTMotion的关键创新在于它是一种免训练的场景感知文本到动作生成方法。它避免了从头开始训练一个场景感知的模型，而是利用已有的预训练模型和基础模型，通过巧妙的设计来实现场景感知能力。这大大降低了训练成本，并且提高了模型的泛化能力。

关键设计：论文中提到的两个关键修改是动作指导融合的关键设计。具体的技术细节（如损失函数、网络结构等）在摘要中没有详细说明，需要参考论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了TSTMotion框架的有效性和泛化能力。具体的性能数据、对比基线和提升幅度等信息需要在论文原文中查找。摘要中提到实验证明了该框架能够生成场景感知的动作序列，并且具有良好的泛化能力，表明该方法在不同场景和动作上的表现都比较稳定。

🎯 应用场景

TSTMotion框架具有广泛的应用前景，例如虚拟现实、游戏开发、机器人控制等领域。它可以用于生成与虚拟环境交互的逼真人物动作，增强用户体验。在机器人领域，可以帮助机器人理解人类指令，并在复杂环境中执行任务。此外，该框架还可以用于生成动画和电影等内容。

📄 摘要（原文）

Text-to-motion generation has recently garnered significant research interest, primarily focusing on generating human motion sequences in blank backgrounds. However, human motions commonly occur within diverse 3D scenes, which has prompted exploration into scene-aware text-to-motion generation methods. Yet, existing scene-aware methods often rely on large-scale ground-truth motion sequences in diverse 3D scenes, which poses practical challenges due to the expensive cost. To mitigate this challenge, we are the first to propose a \textbf{T}raining-free \textbf{S}cene-aware \textbf{T}ext-to-\textbf{Motion} framework, dubbed as \textbf{TSTMotion}, that efficiently empowers pre-trained blank-background motion generators with the scene-aware capability. Specifically, conditioned on the given 3D scene and text description, we adopt foundation models together to reason, predict and validate a scene-aware motion guidance. Then, the motion guidance is incorporated into the blank-background motion generators with two modifications, resulting in scene-aware text-driven motion sequences. Extensive experiments demonstrate the efficacy and generalizability of our proposed framework. We release our code in \href{https://tstmotion.github.io/}{Project Page}.