World2Motion: Turning Video World Models into 3D Human Motion Generators
作者: Tu Fangyuan, Xiangyue Zhang, Yiyi Cai, Yichen Peng, Kunhang Li, Bo Zheng, Zhixiang Wang, Kaipeng Zhang, Erwin Wu, Haoran Xie, Haiyang Liu
分类: cs.CV
发布日期: 2026-09-29
备注: 15 pages, 6 figures
💡 一句话要点
提出World2Motion以解决3D人类动作生成的环境限制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D人类动作生成 视频世界模型 场景感知 单阶段推理 动作-文本对齐 虚拟现实 人机交互
📋 核心要点
- 现有的3D动作生成器在环境覆盖范围上存在限制，导致其泛化能力不足。
- 论文提出将Cosmos 3转变为单阶段3D动作生成器，构建合成与真实视频的训练数据集。
- 实验表明，World2Motion在动作-文本对齐和场景交互方面表现优异，推理速度显著提升。
📝 摘要（中文）
我们提出了World2Motion，一个能够从单幅图像和文本提示生成场景感知的3D人类动作及相应视频的框架。现有的3D动作生成器受限于运动数据集的覆盖范围，难以实现广泛的环境泛化。视频世界模型如Cosmos 3虽然提供了更广泛的环境先验，但并不适合全身动作生成，且从其生成的视频中恢复动作需要昂贵的两阶段推理。为了解决这些问题，我们将Cosmos 3转变为单阶段的3D动作生成器。我们构建了一个结合合成视频-动作对和真实视频的训练数据集，并提出了一种移位解耦噪声调度方法，以减少生成动作的抖动。实验结果表明，World2Motion在动作-文本对齐和场景交互方面优于现有的3D动作生成器，同时推理速度提高了约3.3倍。
🔬 方法详解
问题定义：本论文旨在解决现有3D人类动作生成器在环境泛化能力不足和生成动作的时间不稳定性的问题。现有方法依赖于有限的运动数据集，难以适应多样化的环境场景。
核心思路：我们提出将视频世界模型Cosmos 3转变为单阶段的3D动作生成器，通过构建合成与真实视频的训练数据集来克服数据稀缺问题，并引入移位解耦噪声调度以减少生成动作的抖动。
技术框架：World2Motion框架包括两个主要模块：视频生成模块和动作生成模块。视频生成模块负责生成场景视频，而动作生成模块则从视频中提取相应的3D动作信息。
关键创新：本研究的核心创新在于将Cosmos 3模型适配为单阶段生成器，避免了传统方法的两阶段推理过程，从而提高了效率和实时性。
关键设计：在训练过程中，我们使用了合成视频-动作对与真实视频的结合，并设计了移位解耦噪声调度，针对视频和动作分别设置不同的噪声水平，以适应两种模态的去噪需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，World2Motion在动作-文本对齐和场景交互方面优于评估的3D动作生成器，同时与两阶段基线的交互成功率相当，推理速度提升约3.3倍，展现出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和人机交互等。通过生成高质量的3D人类动作，World2Motion可以为这些领域提供更自然的交互体验，推动相关技术的发展与应用。
📄 摘要（原文）
We present World2Motion, a framework that generates scene-aware 3D human motion and corresponding video from a single image and a text prompt. While existing 3D motion generators learn from motion datasets, their generalization is constrained by limited coverage of environments. In contrast, video world models such as Cosmos 3 offer broader environmental priors but are not designed for full-body motion generation; recovering motion from their generated videos requires costly two-stage inference. To address these, we turn Cosmos 3 into a single-stage 3D motion generator. This adaptation has two challenges: the scarcity of paired video--motion data and temporal instability in the generated motion. First, we construct a training dataset combining synthetic video--motion pairs with real videos paired with estimated 3D motion. Second, we propose a shift-decoupled noise schedule that assigns different noise levels to video and motion through shared denoising progress. This design accommodates the different denoising requirements of the two modalities, reducing motion jitter. Experiments on a multi-source interaction benchmark show that World2Motion has better motion--text alignment and scene interaction compared with the evaluated 3D motion generators. It also matches the interaction success rate of the two-stage baseline while achieving approximately 3.3$\times$ faster inference.