Rethinking Generalizable Infrared Small Target Detection: A Real-scene Benchmark and Cross-view Representation Learning
作者: Yahao Lu, Yuehui Li, Xingyuan Guo, Shuai Yuan, Yukai Shi, Liang Lin
分类: cs.CV
发布日期: 2025-04-23
备注: A benchmark associated with real-world scenes for the Infrared Small Target Detection (ISTD) is presented
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于跨视角表征学习的红外小目标检测框架，提升泛化能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 红外小目标检测 域自适应 跨视角学习 表征学习 噪声鲁棒性
📋 核心要点
- 现有红外小目标检测方法泛化性差，易受传感器、环境和目标属性变化的影响，导致性能下降。
- 提出跨视角通道对齐、跨视角Top-K融合和噪声引导表征学习策略，以提升模型对不同场景的适应性。
- 构建RealScene-ISTD数据集，实验表明该方法在检测概率、误报率和交并比上优于现有方法。
📝 摘要（中文）
红外小目标检测（ISTD）对传感器类型、观测条件和目标自身属性高度敏感，导致红外图像数据分布存在显著差异，即域偏移。这种分布差异严重阻碍了ISTD模型在不同场景下的泛化能力。为了应对这一挑战，本文提出了一个由域自适应增强的ISTD框架。为了缓解数据集之间的分布偏移并实现跨样本对齐，我们引入了跨视角通道对齐（CCA）。此外，我们提出了跨视角Top-K融合策略，该策略将目标信息与不同的背景特征相结合，增强了模型提取关键数据特征的能力。为了进一步减轻噪声对ISTD的影响，我们开发了一种噪声引导的表征学习策略。这种方法使模型能够学习更具抗噪性的特征表示，从而提高其在不同噪声域中的泛化能力。最后，我们开发了一个专门的红外小目标数据集RealScene-ISTD。与最先进的方法相比，我们的方法在检测概率（Pd）、误报率（Fa）和交并比（IoU）方面表现出卓越的性能。
🔬 方法详解
问题定义：红外小目标检测（ISTD）任务面临着严重的域偏移问题。由于不同传感器类型、观测条件以及目标自身属性的差异，采集到的红外图像数据分布存在显著差异。现有的ISTD模型通常在特定数据集上表现良好，但在面对新的、未知的场景时，性能会急剧下降，泛化能力不足。因此，如何提升ISTD模型在不同场景下的泛化能力是一个关键问题。
核心思路：本文的核心思路是通过域自适应和跨视角表征学习来缓解域偏移问题，从而提升ISTD模型的泛化能力。具体来说，论文通过跨视角通道对齐（CCA）来减小不同数据集之间的分布差异，通过跨视角Top-K融合策略来增强模型提取关键目标特征的能力，并通过噪声引导的表征学习策略来提高模型对噪声的鲁棒性。这样，模型就能更好地适应不同的场景，从而提升泛化能力。
技术框架：该ISTD框架主要包含以下几个模块：1) 特征提取模块：用于从输入的红外图像中提取特征表示。2) 跨视角通道对齐（CCA）模块：用于对齐不同数据集之间的特征分布。3) 跨视角Top-K融合模块：用于融合目标信息和背景特征，增强目标特征的表达能力。4) 噪声引导的表征学习模块：用于学习对噪声具有鲁棒性的特征表示。整个流程是，首先通过特征提取模块提取特征，然后通过CCA模块进行域对齐，接着通过Top-K融合模块增强目标特征，最后通过噪声引导的表征学习模块提高鲁棒性。
关键创新：本文最重要的技术创新点在于提出了跨视角表征学习的思想，并将其应用于红外小目标检测任务中。与传统的域自适应方法不同，本文不仅仅关注于对齐不同数据集之间的特征分布，还关注于增强目标特征的表达能力和提高模型对噪声的鲁棒性。这种跨视角的学习方式能够更有效地缓解域偏移问题，从而提升模型的泛化能力。
关键设计：在跨视角通道对齐（CCA）模块中，论文可能使用了某种距离度量（如MMD或CORAL）来衡量不同数据集之间的特征分布差异，并设计了一个损失函数来最小化这种差异。在跨视角Top-K融合模块中，论文可能使用了注意力机制来选择最重要的目标特征和背景特征，并将它们进行融合。在噪声引导的表征学习模块中，论文可能通过引入噪声数据或使用对抗训练等方法来提高模型对噪声的鲁棒性。具体的参数设置、损失函数和网络结构等技术细节需要在论文中进一步查找。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在RealScene-ISTD数据集上取得了显著的性能提升。具体来说，该方法在检测概率（Pd）、误报率（Fa）和交并比（IoU）等指标上均优于现有的最先进方法。例如，检测概率提升了X%，误报率降低了Y%，交并比提高了Z%（具体数值需要在论文中查找）。这些结果表明，该方法能够有效地缓解域偏移问题，从而提升红外小目标检测的泛化能力。
🎯 应用场景
该研究成果可应用于智能安防、无人机侦察、自动驾驶等领域。在这些场景中，红外小目标检测技术可以用于检测潜在的威胁目标，例如入侵者、障碍物等。通过提高红外小目标检测的泛化能力，可以使这些系统在更加复杂的环境中稳定可靠地工作，具有重要的实际应用价值和潜在的社会经济效益。
📄 摘要（原文）
Infrared small target detection (ISTD) is highly sensitive to sensor type, observation conditions, and the intrinsic properties of the target. These factors can introduce substantial variations in the distribution of acquired infrared image data, a phenomenon known as domain shift. Such distribution discrepancies significantly hinder the generalization capability of ISTD models across diverse scenarios. To tackle this challenge, this paper introduces an ISTD framework enhanced by domain adaptation. To alleviate distribution shift between datasets and achieve cross-sample alignment, we introduce Cross-view Channel Alignment (CCA). Additionally, we propose the Cross-view Top-K Fusion strategy, which integrates target information with diverse background features, enhancing the model' s ability to extract critical data characteristics. To further mitigate the impact of noise on ISTD, we develop a Noise-guided Representation learning strategy. This approach enables the model to learn more noise-resistant feature representations, to improve its generalization capability across diverse noisy domains. Finally, we develop a dedicated infrared small target dataset, RealScene-ISTD. Compared to state-of-the-art methods, our approach demonstrates superior performance in terms of detection probability (Pd), false alarm rate (Fa), and intersection over union (IoU). The code is available at: https://github.com/luy0222/RealScene-ISTD.