DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction

📄 arXiv: 2607.05787v1 📥 PDF

作者: Jiakun Li, Zhe Li, Wenqiang Wu, Zheng Chang, Mingqi Gao, Jinyu Yang, Feng Zheng

分类: cs.CV

发布日期: 2026-07-07

💡 一句话要点

提出DeSeG以解决人类场景交互中的语义与几何约束纠缠问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人类场景交互 语义解耦 几何约束 物理正则化 生成模型 计算机视觉 虚拟现实

📋 核心要点

  1. 现有方法在合成物理合理的人类场景交互时，面临语义与几何约束的纠缠问题，导致生成结果不准确。
  2. 论文提出的DeSeG框架通过残差语义规划器和物理正则化扩散执行器，明确解耦语义意图与几何约束，实现更精确的运动合成。
  3. 实验结果显示，DeSeG在场景穿透和语义对齐方面显著优于现有基线，分别提升了47%和29%。

📝 摘要（中文）

合成物理上合理的人类场景交互（HSI）仍然是计算机视觉和人类虚拟形象发展的关键挑战。尽管近期生成模型能够实现多样化的动作合成，但它们受到一种称为语义-几何纠缠的归纳偏差影响。由于空间约束通常与训练数据中的特定动作强相关，单一模型会在面对严格的几何线索时，过度覆盖语义意图。此外，这种纠缠加剧了物理幻觉，如身体与场景的穿透。为了解决这些局限性，我们提出了DeSeG，一个明确解耦语义意图与几何约束的分层框架。首先，我们引入了残差语义规划器，将文本指令和标准化目标体素编码为紧凑的潜在空间，实现独立于空间轨迹的细粒度语义控制。其次，我们提出了一种物理正则化扩散执行器，将可微分的排斥势场直接纳入扩散目标，强制生成碰撞感知的运动。大量实验表明，DeSeG在Lingo数据集上实现了最先进的性能，场景穿透均值降低了47%，语义对齐提升了29%。

🔬 方法详解

问题定义：本论文旨在解决人类场景交互中语义意图与几何约束之间的纠缠问题。现有方法在面对严格的几何线索时，容易导致生成结果的语义意图被覆盖，且产生物理幻觉，如身体穿透场景。

核心思路：DeSeG框架的核心思路是通过分层设计，明确解耦语义意图与几何约束。通过引入残差语义规划器和物理正则化扩散执行器，实现对运动合成的精细控制。

技术框架：DeSeG框架主要包括两个模块：残差语义规划器和物理正则化扩散执行器。前者负责将文本指令和目标体素编码为潜在空间，后者则在扩散过程中引入物理约束，确保生成的运动符合物理规律。

关键创新：最重要的技术创新在于引入了残差语义规划器和物理正则化扩散执行器，前者实现了语义与几何的解耦，后者则通过可微分的排斥势场增强了运动生成的碰撞感知能力。这与现有方法的单一模型设计形成了本质区别。

关键设计：在设计中，残差语义规划器采用了紧凑的潜在空间表示，确保了语义控制的细粒度；物理正则化扩散执行器则通过引入排斥势场，增强了对碰撞的感知，确保生成的运动在物理上合理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeSeG在Lingo数据集上的实验结果显示，场景穿透均值降低了47%，语义对齐提升了29%。这些结果显著优于现有的最先进基线，证明了该方法在生成物理合理的人类场景交互方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和人机交互等。通过提高人类与场景交互的物理合理性，DeSeG能够为用户提供更真实的沉浸体验，推动虚拟形象的进一步发展。未来，该技术可能在智能机器人和自动化系统中得到应用，提升其与环境的交互能力。

📄 摘要（原文）

Synthesizing physically plausible human-scene interactions (HSI) remains a critical challenge in computer vision and the development of human avatars. Although recent generative models enable diverse motion synthesis, they suffer from an inductive bias referred to as semantic-geometric entanglement. Because spatial constraints often strongly correlate with specific actions in training data, monolithic models will learn the shortcut bias, aggressively overriding the semantic intent when faced with strict geometric cues. Furthermore, this entanglement exacerbates physical hallucinations, such as body-scene penetrations. To address these limitations, we propose DeSeG, a hierarchical framework that explicitly decouples semantic intent from geometric constraints. First, we introduce a Residual Semantic Planner that encodes textual instructions and canonicalized goal voxels into a compact latent space, enabling fine-grained semantic control independent of spatial trajectories. Second, we propose a physics regularized diffusion executor that incorporates differentiable repulsive potential fields directly into the diffusion objective, enforcing collision-aware motion generation. Extensive experiments on the Lingo dataset demonstrate that DeSeG achieves state-of-the-art performance, reducing mean scene penetration by 47% and improving semantic alignment by 29% over the SOTA baselines.