HORIA: 4D Human and Object Reconstruction from a Monocular Video with Interaction-Aware Re-Rendering

📄 arXiv: 2610.25960v1 📥 PDF

作者: Hyeongjin Nam, Taeryung Lee, Daniel Sungho Jung, Kyoung Mu Lee

分类: cs.CV

发布日期: 2026-10-19

备注: 17 pages including the supplementary material

💡 一句话要点

提出HORIA以解决单目视频中人类与物体的4D重建问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 4D重建 人机互动 单目视频 运动感知 重渲染 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在捕捉人类与物体的互动时面临多阶段语义上下文和遮挡问题，导致重建不一致。
  2. 本文提出HORIA，通过运动感知字幕分解视频并生成文本描述，结合互动感知重渲染来解决重建问题。
  3. 实验结果表明，HORIA在多种互动场景下实现了时间一致且准确的4D重建，性能达到最先进水平。

📝 摘要（中文）

从单目视频中联合重建人类与物体的4D模型对于理解人类与环境的互动至关重要。尽管近期方法取得了一定进展，但由于视频中包含多阶段的复合语义上下文，跟踪互动的时间变化变得困难。此外，在人类与物体的遮挡情况下，单视角观察提供的信息不完整，导致几何重建不一致。为了解决这些挑战，本文提出了HORIA，采用运动感知的字幕将输入视频分解为时间上有序且语义上独立的互动阶段，并针对每个阶段生成特定的文本描述。基于这些描述，提出了互动感知的重渲染方法，弥补了单视角观察的局限性。最终，该框架在多种互动场景下实现了时间一致且准确的4D重建，达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决从单目视频中联合重建人类与物体的4D模型的问题。现有方法在处理多阶段互动和遮挡时，常常导致几何重建的不一致性。

核心思路：HORIA的核心思路是通过运动感知的字幕将视频分解为独立的互动阶段，并基于这些阶段的文本描述进行重渲染，以克服单视角的局限性。

技术框架：HORIA的整体架构包括两个主要模块：第一，运动感知字幕生成模块，用于提取视频中的互动阶段；第二，互动感知重渲染模块，基于文本描述进行4D重建的视角渲染和优化。

关键创新：HORIA的关键创新在于引入了运动感知字幕和互动感知重渲染，能够在遮挡和多阶段语义上下文中实现更一致的重建效果，这与现有方法的单一视角重建方式有本质区别。

关键设计：在设计中，采用了特定的损失函数来优化重渲染的质量，并结合文本到视频的扩散先验，以提供超越单视角线索的辅助监督。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HORIA在多种互动场景下实现了时间一致且准确的4D重建，性能超越了现有基线，具体表现为在标准数据集上，重建精度提升了XX%，并在遮挡情况下的表现显著改善。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够为这些领域提供更准确的人类与物体互动模型，提升用户体验和交互效果。未来，HORIA可能在机器人导航和智能监控等领域发挥重要作用。

📄 摘要（原文）

Joint 4D reconstruction of a human and object from a monocular video is essential for understanding how people interact with their environment. While recent methods have made noticeable progress, capturing such human-object interactions remains difficult due to two main challenges. First, a video typically contains composite semantic context spanning multiple interaction phases, making it difficult to track the temporal changes of the interaction in the reconstruction. Second, under human-object occlusion, a single-view observation contains incomplete visual information about the interaction, resulting in geometrically inconsistent reconstructions. To address these challenges, we introduce HORIA, built upon two core designs. First, we decompose the entire input video into temporally grounded and semantically distinct interaction phases with motion-aware captioning, obtaining a specific text description for each phase. Second, conditioned on these text descriptions of the interaction, we propose an interaction-aware re-rendering that compensates for the limited single-view observation. Specifically, we render the initially reconstructed 4D human and object from novel viewpoints and refine the renderings with a text-to-video diffusion prior, which provides auxiliary novel-view supervision beyond single-view cues. As a result, our framework produces temporally coherent and accurate 4D reconstructions under diverse interaction scenarios, achieving state-of-the-art performance.