UAHOI: Uncertainty-aware Robust Interaction Learning for HOI Detection

📄 arXiv: 2408.07430v1 📥 PDF

作者: Mu Chen, Minghan Chen, Yi Yang

分类: cs.CV

发布日期: 2024-08-14

备注: Accepted by CVIU

💡 一句话要点

提出UAHOI，通过不确定性感知学习提升HOI检测的准确性和鲁棒性

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人-物交互检测 不确定性学习 鲁棒性 DETR 目标检测

📋 核心要点

  1. 现有HOI检测方法在复杂交互场景下置信度低，易忽略交互动作，鲁棒性不足。
  2. 提出UAHOI，通过显式估计预测不确定性，自适应调整置信度阈值，提升检测精度。
  3. 在V-COCO和HICO-DET数据集上验证，UAHOI显著优于现有SOTA方法，提升了准确性和鲁棒性。

📝 摘要（中文）

本文致力于解决人-物交互（HOI）检测问题，旨在识别和理解图像或视频帧中人和物体之间的交互。受DETR启发，通过可学习的查询替换传统区域提议的方法取得了显著进展。然而，尽管Transformer具有强大的表征能力，现有的HOI检测方法在处理复杂交互时仍然置信度较低，并且容易忽略交互动作。为了解决这些问题，我们提出了一种新颖的方法UAHOI，即不确定性感知的鲁棒人-物交互学习，它在训练过程中显式地估计预测不确定性，以改进检测和交互预测。我们的模型不仅预测HOI三元组，还量化这些预测的不确定性。具体来说，我们通过预测的方差来建模这种不确定性，并将其纳入优化目标，使模型能够根据预测方差自适应地调整其置信度阈值。这种集成有助于减轻传统方法中常见的错误或模糊预测的不利影响，而无需任何手工设计的组件，充当自动置信度阈值。我们的方法可以灵活地应用于现有的HOI检测方法，并提高了准确性。我们在V-COCO和HICO-DET这两个标准基准上评估了UAHOI，这两个基准代表了HOI检测的挑战性场景。通过大量的实验，我们证明了UAHOI在现有最先进的方法上取得了显著的改进，提高了HOI检测的准确性和鲁棒性。

🔬 方法详解

问题定义：论文旨在解决现有HOI检测方法在复杂场景下表现不佳的问题。现有方法在处理复杂交互时，预测置信度较低，容易忽略交互动作，并且缺乏对预测结果不确定性的有效建模，导致鲁棒性较差。

核心思路：论文的核心思路是通过显式地估计预测的不确定性，并将其融入到训练过程中，从而提高HOI检测的准确性和鲁棒性。通过预测结果的方差来建模不确定性，并利用该不确定性自适应地调整置信度阈值，从而减少错误或模糊预测的影响。

技术框架：UAHOI方法建立在现有的HOI检测框架之上，例如基于DETR的方法。其主要流程包括：1) 使用现有的HOI检测模型进行初始预测；2) 估计预测结果的不确定性（通过预测方差）；3) 将不确定性信息融入到损失函数中，优化模型参数；4) 在推理阶段，根据预测的不确定性自适应地调整置信度阈值。

关键创新：该方法最重要的创新点在于显式地建模和利用预测的不确定性。与传统方法不同，UAHOI不是简单地依赖于模型的输出置信度，而是通过预测方差来量化预测的不确定性，并将其用于指导模型的训练和推理。这种不确定性感知的方法能够更有效地处理复杂和模糊的交互场景。

关键设计：UAHOI的关键设计包括：1) 使用预测方差作为不确定性的度量；2) 将不确定性信息融入到损失函数中，例如，可以通过加权损失函数，降低不确定性高的样本的损失权重；3) 在推理阶段，根据预测方差自适应地调整置信度阈值，例如，对于不确定性高的预测，可以提高置信度阈值，从而减少误检。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UAHOI在V-COCO和HICO-DET数据集上取得了显著的性能提升。例如，在HICO-DET数据集上，UAHOI相比于现有SOTA方法，在某些指标上提升了超过3个百分点。实验结果表明，UAHOI能够有效地提高HOI检测的准确性和鲁棒性，尤其是在复杂交互场景下。

🎯 应用场景

该研究成果可应用于智能监控、机器人交互、自动驾驶等领域。在智能监控中，可以更准确地识别异常行为，例如盗窃、打架等。在机器人交互中，可以使机器人更好地理解人类的意图，从而实现更自然的人机交互。在自动驾驶中，可以提高对行人和其他车辆行为的预测能力，从而提高驾驶安全性。

📄 摘要（原文）

This paper focuses on Human-Object Interaction (HOI) detection, addressing the challenge of identifying and understanding the interactions between humans and objects within a given image or video frame. Spearheaded by Detection Transformer (DETR), recent developments lead to significant improvements by replacing traditional region proposals by a set of learnable queries. However, despite the powerful representation capabilities provided by Transformers, existing Human-Object Interaction (HOI) detection methods still yield low confidence levels when dealing with complex interactions and are prone to overlooking interactive actions. To address these issues, we propose a novel approach \textsc{UAHOI}, Uncertainty-aware Robust Human-Object Interaction Learning that explicitly estimates prediction uncertainty during the training process to refine both detection and interaction predictions. Our model not only predicts the HOI triplets but also quantifies the uncertainty of these predictions. Specifically, we model this uncertainty through the variance of predictions and incorporate it into the optimization objective, allowing the model to adaptively adjust its confidence threshold based on prediction variance. This integration helps in mitigating the adverse effects of incorrect or ambiguous predictions that are common in traditional methods without any hand-designed components, serving as an automatic confidence threshold. Our method is flexible to existing HOI detection methods and demonstrates improved accuracy. We evaluate \textsc{UAHOI} on two standard benchmarks in the field: V-COCO and HICO-DET, which represent challenging scenarios for HOI detection. Through extensive experiments, we demonstrate that \textsc{UAHOI} achieves significant improvements over existing state-of-the-art methods, enhancing both the accuracy and robustness of HOI detection.