A Study of Failure Modes in Two-Stage Human-Object Interaction Detection

📄 arXiv: 2604.13448v1 📥 PDF

作者: Lemeng Wang, Qinqian Lei, Vidhi Bakshi, Daniel Yi, Yifan Liu, Jiacheng Hou, Asher Seng Hao, Zheda Mai, Wei-Lun Chao, Robby T. Tan, Bo Wang

分类: cs.CV, cs.AI

发布日期: 2026-04-15

备注: Accepted to SAUAFG Workshop at CVPR 2026

💡 一句话要点

针对两阶段HOI检测模型，研究其在复杂场景和罕见交互下的失效模式

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: HOI检测 失效模式分析 两阶段模型 复杂场景 人-物交互

📋 核心要点

  1. 现有HOI检测模型在复杂场景和罕见交互中表现不佳，评估方法缺乏对模型失效根本原因的洞察。
  2. 通过分解HOI检测任务为多个可解释的维度，并分析模型在这些维度上的行为，来研究不同类型的失效模式。
  3. 通过对现有数据集的子集进行分析，揭示了模型在不同场景组成下的表现以及预测失败的原因。

📝 摘要（中文）

本文旨在深入理解两阶段人体-物体交互(HOI)检测模型的失效模式。现有评估方法主要关注整体预测精度，缺乏对模型失效根本原因的洞察。特别是，现代模型在涉及多人和罕见交互组合的复杂场景中表现不佳。本文通过将HOI检测分解为多个可解释的维度，并分析模型在这些维度上的行为，来研究不同类型的失效模式。作者从现有HOI数据集中选取子集，按照人-物-交互配置（例如，多人交互和物体共享）进行组织，并分析模型在这些配置下的行为。这种设计允许分析HOI模型在不同场景组成下的表现以及预测失败的原因。研究表明，高整体基准性能并不一定反映对人-物关系进行鲁棒视觉推理的能力。希望这项研究能够为HOI模型的局限性提供有用的见解，并为该领域的未来研究提供参考。

🔬 方法详解

问题定义：现有的人体-物体交互（HOI）检测模型，虽然在整体精度上有所提升，但在复杂场景（例如多人交互、物体共享）和罕见交互组合下，性能显著下降。现有的评估方法主要关注整体精度，缺乏对模型失效原因的深入分析，难以指导模型改进。因此，需要更细粒度的分析方法来理解模型的局限性。

核心思路：本文的核心思路是将HOI检测任务分解为多个可解释的维度，例如场景中人数、交互类型、物体共享情况等。通过分析模型在这些维度上的表现，可以更清晰地识别出模型的弱点和失效模式。这种分解方法避免了仅仅依赖整体精度评估的局限性，能够提供更具针对性的改进方向。

技术框架：本文没有提出新的模型架构，而是侧重于分析现有两阶段HOI检测模型的行为。其分析流程主要包括：1) 从现有HOI数据集中选取子集，并按照人-物-交互配置（例如，多人交互和物体共享）进行组织；2) 使用现有的两阶段HOI检测模型对该子集进行预测；3) 分析模型在不同配置下的预测结果，识别出常见的失效模式；4) 对失效模式进行归纳和总结，并提出改进建议。

关键创新：本文的关键创新在于其分析方法，即通过将HOI检测分解为多个可解释的维度，从而能够更细致地分析模型的失效模式。这种方法不同于以往仅仅关注整体精度的评估方式，能够提供更深入的洞察，帮助研究人员更好地理解模型的局限性。

关键设计：本文的关键设计在于数据集的组织方式，即按照人-物-交互配置对数据集进行划分。例如，将包含多人交互的图像划分为一个子集，将包含物体共享的图像划分为另一个子集。这种划分方式使得可以针对不同的场景配置，分别分析模型的表现，从而更容易识别出模型的弱点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

本文通过对两阶段HOI检测模型在特定场景下的失效模式进行分析，揭示了高整体精度并不代表模型对人-物关系具有鲁棒的视觉推理能力。研究结果表明，模型在多人交互和物体共享等复杂场景下容易出现预测错误，为未来的模型改进提供了重要的参考依据。

🎯 应用场景

该研究成果可应用于提升HOI检测模型的鲁棒性和泛化能力，尤其是在复杂场景和罕见交互下的性能。通过深入理解模型的失效模式，可以指导模型设计和训练策略的改进，从而提升在机器人、自动驾驶、视频监控等领域的应用效果。未来的研究可以基于此分析，开发更有效的HOI检测算法。

📄 摘要（原文）

Human-object interaction (HOI) detection aims to detect interactions between humans and objects in images. While recent advances have improved performance on existing benchmarks, their evaluations mainly focus on overall prediction accuracy and provide limited insight into the underlying causes of model failures. In particular, modern models often struggle in complex scenes involving multiple people and rare interaction combinations. In this work, we present a study to better understand the failure modes of two-stage HOI models, which form the basis of many current HOI detection approaches. Rather than constructing a large-scale benchmark, we instead decompose HOI detection into multiple interpretable perspectives and analyze model behavior across these dimensions to study different types of failure patterns. We curate a subset of images from an existing HOI dataset organized by human-object-interaction configurations (e.g., multi-person interactions and object sharing), and analyze model behavior under these configurations to examine different failure modes. This design allows us to analyze how these HOI models behave under different scene compositions and why their predictions fail. Importantly, high overall benchmark performance does not necessarily reflect robust visual reasoning about human-object relationships. We hope that this study can provide useful insights into the limitations of HOI models and offer observations for future research in this area.