HalluciDet: Hallucinating RGB Modality for Person Detection Through Privileged Information

📄 arXiv: 2310.04662v2 📥 PDF

作者: Heitor Rapela Medeiros, Fidel A. Guerrero Pena, Masih Aminbeidokhti, Thomas Dubail, Eric Granger, Marco Pedersoli

分类: cs.CV, cs.AI

发布日期: 2023-10-07 (更新: 2024-03-22)

备注: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2024

期刊: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出HalluciDet以解决红外到可见光行人检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 红外图像 可见光图像 行人检测 图像翻译 深度学习 计算机视觉 多模态学习

📋 核心要点

  1. 现有的图像翻译方法在红外到可见光的行人检测中面临数据分布显著变化的挑战，导致性能下降。
  2. HalluciDet模型通过减少RGB检测器的检测损失，避免直接访问RGB数据，从而实现了有效的IR-RGB图像翻译。
  3. 实验证明，HalluciDet在与最先进的方法比较时，检测准确性在大多数情况下得到了显著提升。

📝 摘要（中文）

适应视觉识别模型到新领域的一种有效方法是通过图像翻译。然而，现有的图像翻译方法通常只关注生成与目标领域相同分布的数据。在红外（IR）到可见光（RGB）图像的跨模态应用中，数据分布的显著变化可能导致生成的图像在检测任务中表现不佳。本文提出了HalluciDet，一个用于物体检测的IR-RGB图像翻译模型。该模型不再专注于重建IR模态的原始图像，而是旨在减少RGB检测器的检测损失，从而避免访问RGB数据。该模型生成的新图像表示增强了场景中的目标物体，显著提高了检测性能。我们通过实验证明，HalluciDet在大多数情况下通过利用预训练RGB检测器中编码的特权信息，提高了检测准确性。

🔬 方法详解

问题定义：本文旨在解决红外（IR）到可见光（RGB）图像翻译在行人检测中的性能不足问题。现有方法往往只关注生成与目标领域相同分布的图像，忽视了任务相关的细节，导致检测效果不佳。

核心思路：HalluciDet的核心思想是通过减少RGB检测器的检测损失来生成新的图像表示，而不是重建IR模态的原始图像。这种方法使得模型能够在没有RGB数据的情况下，依然提升检测性能。

技术框架：HalluciDet的整体架构包括图像翻译模块和检测模块。图像翻译模块负责将IR图像转换为增强的RGB表示，而检测模块则利用该表示进行物体检测。

关键创新：HalluciDet的主要创新在于其不再关注重建原始图像，而是通过优化检测损失来生成更适合检测任务的图像表示。这一设计与传统的图像翻译方法本质上有所不同。

关键设计：在模型设计中，HalluciDet采用了特定的损失函数来平衡生成图像的质量与检测性能，同时利用预训练的RGB检测器作为特权信息源，以增强生成图像的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HalluciDet在大多数情况下相较于最先进的图像翻译方法，检测准确性提高了显著的幅度，具体性能数据未详细列出，但整体提升效果明显，验证了模型的有效性和实用性。

🎯 应用场景

HalluciDet的研究成果在多个领域具有潜在应用价值，尤其是在需要从红外图像进行行人检测的场景，如智能监控、无人驾驶和安全监测等。通过有效的图像翻译，该模型能够提高在复杂环境下的物体检测能力，推动相关技术的发展。

📄 摘要（原文）

A powerful way to adapt a visual recognition model to a new domain is through image translation. However, common image translation approaches only focus on generating data from the same distribution as the target domain. Given a cross-modal application, such as pedestrian detection from aerial images, with a considerable shift in data distribution between infrared (IR) to visible (RGB) images, a translation focused on generation might lead to poor performance as the loss focuses on irrelevant details for the task. In this paper, we propose HalluciDet, an IR-RGB image translation model for object detection. Instead of focusing on reconstructing the original image on the IR modality, it seeks to reduce the detection loss of an RGB detector, and therefore avoids the need to access RGB data. This model produces a new image representation that enhances objects of interest in the scene and greatly improves detection performance. We empirically compare our approach against state-of-the-art methods for image translation and for fine-tuning on IR, and show that our HalluciDet improves detection accuracy in most cases by exploiting the privileged information encoded in a pre-trained RGB detector. Code: https://github.com/heitorrapela/HalluciDet