SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation

📄 arXiv: 2607.05994v1 📥 PDF

作者: Shenbo Xie, Mingrui Cai, Xu Yang, Yifei Liu, Changxing Ding

分类: cs.CV

发布日期: 2026-07-07

备注: ECCV 2026, Project Page: https://mpi-lab.github.io/SparseCtrl-HOI

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SparseCtrl-HOI以解决人机交互视频生成中的稀疏控制问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 视频生成 稀疏控制 多模态学习 运动先验

📋 核心要点

  1. 现有的人机交互视频生成方法依赖于密集的时间指导，导致高昂的标注成本和运动合成多样性不足。
  2. SparseCtrl-HOI框架通过仅使用少量关键帧来捕捉互动状态，结合TiRoPE机制和运动先验注入模块，解决了稀疏控制问题。
  3. 实验结果表明，该方法在降低标注开销的同时，合成的直播电商视频质量显著提升，具有更好的逻辑和物理合理性。

📝 摘要（中文）

人机交互（HOI）视频生成旨在合成真实的人类与多样物体互动的视频，这在AI驱动的直播电商中具有广阔前景。然而，建模细粒度的物理动态和人手与物体之间复杂的时空协调是主要障碍。现有方法通常依赖于密集的时间指导，导致高昂的标注成本和运动合成多样性的降低。为此，我们提出了SparseCtrl-HOI，一个新颖的稀疏时间控制框架，仅需少量关键帧捕捉互动状态。我们采用时间控制旋转位置嵌入（TiRoPE）机制来锚定这些关键帧，并提出运动先验注入模块，利用多模态大语言模型提取高层运动先验，从而实现逻辑和物理上合理的过渡。我们构建了SparseHOI-5K数据集，全面评估表明该方法显著降低了标注开销，同时合成了优质的直播电商视频。

🔬 方法详解

问题定义：本论文旨在解决人机交互视频生成中的稀疏时间控制问题。现有方法依赖于密集的时间指导，导致高昂的标注成本和运动合成的多样性不足。

核心思路：我们提出SparseCtrl-HOI框架，通过仅使用少量关键帧来捕捉互动状态，结合时间控制旋转位置嵌入（TiRoPE）机制和运动先验注入模块，来有效控制视频生成过程。

技术框架：整体架构包括两个主要模块：首先是TiRoPE机制，用于锚定关键帧并保持其空间完整性；其次是运动先验注入模块，利用多模态大语言模型提取高层运动先验，以指导中间帧的动态生成。

关键创新：最重要的技术创新在于引入稀疏时间控制框架，显著降低了对密集时间指导的依赖，同时通过运动先验的引入提升了生成视频的逻辑性和物理合理性。

关键设计：在设计中，我们设置了关键帧的选择标准，并优化了损失函数以平衡生成质量和计算效率。此外，网络结构中融入了多模态大语言模型，以增强运动先验的提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SparseCtrl-HOI在合成直播电商视频时，标注开销显著降低，同时生成视频的质量在逻辑性和物理合理性上均有显著提升。与基线方法相比，合成效果提升幅度达到XX%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括直播电商、虚拟现实和游戏开发等。通过提高人机交互视频生成的效率和质量，SparseCtrl-HOI能够为这些领域带来更具吸引力的用户体验，推动相关技术的进一步发展。

📄 摘要（原文）

Human-Object Interaction (HOI) video generation aims to synthesize realistic videos of humans manipulating diverse objects, serving as a promising avenue for AI-driven live streaming e-commerce. A primary obstacle in this domain lies in the complexity of modeling fine-grained physical dynamics and the intricate spatial-temporal coordination between human hands and objects. Existing approaches to this problem typically rely on dense temporal guidance, e.g., frame-wise hand-object pose sequences, to strictly control the interaction process. However, such dense guidance incurs high annotation costs and affects motion synthesis diversity. To overcome these limitations, we introduce SparseCtrl-HOI, a novel sparse temporal control framework for HOI video generation. It requires only a few keyframes that capture interaction states at designated timestamps. Specifically, we employ a Time-Controlled Rotary Positional Embedding (TiRoPE) mechanism to temporally anchor these keyframes while preserving their spatial integrity. Subsequently, to govern the dynamics across intermediate frames, we propose a Motion Prior Injection Module that leverages Multimodal Large Language Models (MLLMs) to extract high-level motion priors. This empowers the model to hallucinate logically and physically plausible transitions. Furthermore, we build SparseHOI-5K, a high-quality and richly annotated dataset for HOI video generation with sparse temporal control. Comprehensive evaluations confirm that our method substantially reduces annotation overhead while synthesizing superior live-streaming e-commerce videos. Both our code and dataset are publicly available at https://mpi-lab.github.io/SparseCtrl-HOI.