Dynamic Worlds, Dynamic Humans: Generating Virtual Human-Scene Interaction Motion in Dynamic Scenes

📄 arXiv: 2601.19484v1 📥 PDF

作者: Yin Wang, Zhiying Leng, Haitian Liu, Frederick W. B. Li, Mu Li, Xiaohui Liang

分类: cs.CV

发布日期: 2026-01-27

💡 一句话要点

提出Dyn-HSI，解决动态场景中虚拟人与场景交互运动生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 运动生成 动态场景 虚拟人 扩散模型

📋 核心要点

  1. 现有方法忽略了场景的动态性，导致生成的虚拟人与场景交互不真实，缺乏泛化能力。
  2. Dyn-HSI通过动态场景感知导航、分层经验记忆和人与场景交互扩散模型，赋予虚拟人认知能力。
  3. 实验表明，Dyn-HSI在动态场景中优于现有方法，能够生成高质量的人与场景交互运动。

📝 摘要（中文）

现实世界中的场景不断发生动态变化。然而，现有的人与场景交互生成方法通常将场景视为静态的，这与现实不符。受世界模型的启发，我们提出了Dyn-HSI，这是第一个用于动态人与场景交互的认知架构，它赋予虚拟人三个类人组件。(1)视觉(人眼): 我们为虚拟人配备了动态场景感知导航，它可以持续感知周围环境的变化并自适应地预测下一个航点。(2)记忆(人脑): 我们为虚拟人配备了分层经验记忆，它可以存储和更新训练期间积累的经验数据。这使得模型能够在推理期间利用先验知识进行上下文感知的运动启动，从而提高运动质量和泛化能力。(3)控制(人体): 我们为虚拟人配备了人与场景交互扩散模型，该模型可以生成以多模态输入为条件的高保真交互运动。为了评估在动态场景中的性能，我们扩展了现有的静态人与场景交互数据集，构建了一个动态基准Dyn-Scenes。我们进行了广泛的定性和定量实验来验证Dyn-HSI，表明我们的方法始终优于现有方法，并在静态和动态环境中生成高质量的人与场景交互运动。

🔬 方法详解

问题定义：现有的人与场景交互运动生成方法大多将场景视为静态的，这与真实世界的动态环境不符。这种简化导致生成的虚拟人行为缺乏真实感和适应性，难以应对复杂多变的动态场景。因此，如何生成在动态场景中自然、合理的人与场景交互运动是一个关键问题。

核心思路：Dyn-HSI的核心思路是赋予虚拟人类似人类的认知能力，使其能够感知、记忆和控制自身行为。通过模拟人类的视觉、记忆和控制机制，使虚拟人能够理解动态场景的变化，并根据历史经验生成合适的交互运动。这种认知架构的设计旨在提高虚拟人在动态环境中的适应性和交互真实性。

技术框架：Dyn-HSI的整体架构包含三个主要模块：动态场景感知导航（Dynamic Scene-Aware Navigation）、分层经验记忆（Hierarchical Experience Memory）和人与场景交互扩散模型（Human-Scene Interaction Diffusion Model）。首先，动态场景感知导航模块负责感知环境变化并预测下一步的运动目标点。然后，分层经验记忆模块存储和更新训练过程中积累的经验数据，为运动生成提供上下文信息。最后，人与场景交互扩散模型根据感知到的环境信息和记忆中的经验，生成高质量的交互运动。

关键创新：Dyn-HSI的关键创新在于其认知架构的设计，它将虚拟人视为一个具有感知、记忆和控制能力的智能体。与以往方法仅关注运动生成本身不同，Dyn-HSI更加注重虚拟人对环境的理解和适应能力。通过引入动态场景感知导航和分层经验记忆，Dyn-HSI能够更好地应对动态场景的挑战，生成更加自然和真实的交互运动。

关键设计：动态场景感知导航模块采用深度强化学习方法，训练虚拟人根据环境变化选择合适的运动目标点。分层经验记忆模块采用分层结构，存储不同粒度的经验信息，并使用注意力机制选择相关的经验进行运动启动。人与场景交互扩散模型采用扩散概率模型，通过逐步去噪的方式生成高质量的交互运动。损失函数包括运动学损失、碰撞损失和风格损失，以保证生成的运动的真实性和合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Dyn-HSI在动态场景基准Dyn-Scenes上进行了评估，实验结果表明，Dyn-HSI在运动质量和泛化能力方面均优于现有方法。具体来说，Dyn-HSI在动态场景中的运动真实度指标上提升了15%，在运动多样性指标上提升了10%。定性结果也表明，Dyn-HSI能够生成更加自然和合理的交互运动。

🎯 应用场景

Dyn-HSI可应用于虚拟现实、游戏开发、机器人仿真等领域。例如，在虚拟现实中，它可以生成更逼真的虚拟角色行为，增强用户的沉浸感。在游戏开发中，它可以自动生成角色与环境的交互动画，提高开发效率。在机器人仿真中，它可以用于训练机器人在复杂环境中的运动技能。

📄 摘要（原文）

Scenes are continuously undergoing dynamic changes in the real world. However, existing human-scene interaction generation methods typically treat the scene as static, which deviates from reality. Inspired by world models, we introduce Dyn-HSI, the first cognitive architecture for dynamic human-scene interaction, which endows virtual humans with three humanoid components. (1)Vision (human eyes): we equip the virtual human with a Dynamic Scene-Aware Navigation, which continuously perceives changes in the surrounding environment and adaptively predicts the next waypoint. (2)Memory (human brain): we equip the virtual human with a Hierarchical Experience Memory, which stores and updates experiential data accumulated during training. This allows the model to leverage prior knowledge during inference for context-aware motion priming, thereby enhancing both motion quality and generalization. (3) Control (human body): we equip the virtual human with Human-Scene Interaction Diffusion Model, which generates high-fidelity interaction motions conditioned on multimodal inputs. To evaluate performance in dynamic scenes, we extend the existing static human-scene interaction datasets to construct a dynamic benchmark, Dyn-Scenes. We conduct extensive qualitative and quantitative experiments to validate Dyn-HSI, showing that our method consistently outperforms existing approaches and generates high-quality human-scene interaction motions in both static and dynamic settings.