HAPACT: A Benchmark For Human-Centric Physical Impact Localization in Movies

📄 arXiv: 2610.22895v1 📥 PDF

作者: Youngrae Kim, Yejin Jang, Eunho Kim, Youjin Sung, Kun-Woo Song, Sangpil Kim, Sang Ho Yoon

分类: cs.CV, cs.AI

发布日期: 2026-10-16

备注: 29 pages, 16 figures. Accepted at NeurIPS 2026 (Evaluations & Datasets Track)

💡 一句话要点

提出HAPACT基准以解决人类中心物理冲击定位问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 物理冲击定位 视频理解 人类中心 数据集 基准评估 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在处理短暂且强烈的物理冲击事件时存在不足，缺乏有效的定位能力。
  2. 论文提出了HAPACT数据集，专注于人类中心的物理冲击定位，结合视频查询和人类标注。
  3. 实验结果表明，现有方法在物理冲击定位任务上表现不佳，HAPACT基准为此提供了新的评估标准。

📝 摘要（中文）

关于视频中人类的物理推理主要集中在日常互动上，而短暂且强烈的冲击事件仍然相对未被充分探索。为填补这一空白，本文提出了人类中心的冲击定位任务，旨在在视频中时间上和空间上定位目标物理冲击。我们介绍了HAPACT数据集和基准，包含2800多个视频查询对和超过2万个精细标注的帧。HAPACT围绕观众基础的注释、文本条件的定位以及帧级时间和基于SMPL-X的空间粒度的监督构建。通过对现有方法的广泛评估，结果表明物理冲击定位对现有方法仍然具有挑战性，推动了HAPACT作为支持视频中物理冲击推理的专用基准的必要性。

🔬 方法详解

问题定义：本文旨在解决视频中人类中心物理冲击的定位问题，现有方法在处理短暂且强烈的冲击事件时表现不足，缺乏有效的时间和空间定位能力。

核心思路：提出人类中心的冲击定位任务，通过构建HAPACT数据集，结合观众基础的注释和文本条件的定位，提升物理冲击事件的理解。

技术框架：HAPACT数据集包含2800多个视频查询对，采用视频时刻检索模型进行时间定位，使用人类场景接触模型进行空间定位，整体流程包括数据收集、标注和模型评估。

关键创新：HAPACT的核心创新在于其专注于人类中心的冲击定位任务，提供了一个新的基准，填补了现有方法在短暂冲击事件处理上的空白。

关键设计：在模型设计上，采用文本条件的基线方法，通过查询引导的身体区域选择进行空间定位，设置了相应的损失函数和网络结构以优化定位效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有方法在HAPACT基准上的表现仍然具有挑战性，特别是在物理冲击定位任务中，基线模型的性能未能达到预期，强调了该基准的必要性和重要性。

🎯 应用场景

该研究的潜在应用领域包括电影分析、虚拟现实和增强现实等场景，能够帮助理解和模拟人类在突发物理事件中的反应，提升人机交互的自然性和安全性。未来，HAPACT基准有望推动物理推理和计算机视觉领域的进一步研究与应用。

📄 摘要（原文）

Physical reasoning about humans in videos has largely focused on everyday interactions, where contact, pressure, pose, and motion support embodied perception and contact-aware applications. Still, short and forceful properties like impact events remain relatively underexplored, despite their relevance to broader understanding of how abrupt physical events affect the human body. To fill this gap, we introduce human-centric impact localization, a new task that localizes target physical impacts temporally within a video and spatially on the human body. We further present HAPACT, a HumAn-centric imPACT dataset and benchmark built from movie clips, containing over 2.8K video-query pairs with more than 20K fine-grained human-annotated frames. We built HAPACT around viewer-grounded annotation, text-conditioned localization, and supervision at frame-level temporal and SMPL-X-based spatial granularity. To demonstrate the effectiveness of our benchmark, we conduct extensive evaluations of existing methods, employing video moment retrieval models for temporal localization and human-scene contact models for spatial localization. For the spatial task, we propose a text-conditioned baseline by reformulating localization as query-guided body-region selection. Benchmark results show that physical impact localization remains challenging for existing methods, motivating HAPACT as a dedicated benchmark to support physical impact reasoning in videos.