Open-Vocabulary Object Detection in UAV Imagery: A Review and Future Perspectives
作者: Yang Zhou, Junjie Li, CongYang Ou, Dawei Yan, Haokui Zhang, Xizhe Xue
分类: cs.CV
发布日期: 2025-07-04
备注: 27 pages, 5 figures
🔗 代码/项目: GITHUB
💡 一句话要点
综述：无人机影像开放词汇目标检测方法，分析挑战与展望未来
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 无人机影像 目标检测 开放词汇 跨模态学习 CLIP 综述 航拍图像
📋 核心要点
- 传统无人机目标检测依赖预定义类别，泛化能力受限，无法识别未知物体。
- 利用跨模态文本-图像对齐（如CLIP）实现开放词汇目标检测，提升无人机场景理解能力。
- 论文构建了无人机开放词汇目标检测方法的分类体系，并分析了关键挑战与未来方向。
📝 摘要（中文）
无人机航拍图像目标检测因其广泛的应用一直是计算机视觉领域的热点。近年来，无人机技术的进步进一步推动了该领域的发展，催生了更广泛的应用需求。然而，传统的无人机航拍目标检测方法主要集中于检测预定义的类别，这极大地限制了其适用性。跨模态文本-图像对齐（例如CLIP）的出现克服了这一限制，实现了开放词汇目标检测（OVOD），可以通过自然语言描述识别以前未见过的对象。这一突破显著提高了无人机在空中场景理解中的智能性和自主性。本文对无人机航拍场景下的OVOD进行了全面的综述。首先，我们将OVOD的核心原则与无人机视觉的独特特征对齐，为专门的讨论奠定基础。在此基础上，我们构建了一个系统的分类法，对现有的航拍图像OVOD方法进行分类，并全面概述了相关数据集。这种结构化的回顾使我们能够批判性地剖析这些领域交叉的关键挑战和开放问题。最后，基于此分析，我们概述了有希望的未来研究方向和应用前景。本综述旨在为新手和经验丰富的研究人员提供清晰的路线图和有价值的参考，从而促进这个快速发展领域的创新。
🔬 方法详解
问题定义：无人机图像目标检测长期以来依赖于预定义的类别，这限制了其在复杂和动态环境中的应用。当需要检测新的、未知的物体类别时，传统方法需要重新训练模型，这既耗时又昂贵。因此，如何使无人机能够检测任意自然语言描述的目标，即实现开放词汇目标检测，成为了一个亟待解决的问题。
核心思路：本文的核心思路是利用跨模态学习，特别是文本-图像对齐模型（如CLIP），将视觉信息与自然语言描述联系起来。通过这种方式，模型可以学习到图像和文本之间的对应关系，从而能够识别和定位在训练过程中未见过的物体类别。这种方法的核心在于利用文本的语义信息来指导视觉特征的学习，从而实现更强的泛化能力。
技术框架：本文构建了一个系统的分类法，对现有的无人机开放词汇目标检测方法进行了分类。具体来说，文章首先介绍了开放词汇目标检测的基本原理，然后将其与无人机视觉的特点相结合。接着，文章对现有的方法进行了详细的分类和概述，并对相关的数据集进行了整理。最后，文章分析了该领域面临的关键挑战和开放问题，并提出了未来的研究方向。
关键创新：本文的关键创新在于对无人机开放词汇目标检测领域进行了全面的综述和分析。与以往的综述不同，本文不仅关注了现有的方法，还深入探讨了该领域面临的挑战和未来的发展方向。此外，本文还构建了一个系统的分类法，对现有的方法进行了分类，这有助于研究人员更好地理解和比较不同的方法。
关键设计：本文主要是一篇综述文章，因此没有提出新的算法或模型。但是，文章对现有方法的关键设计进行了总结和分析，例如，如何利用CLIP模型提取图像和文本的特征，如何设计损失函数来优化模型的性能，以及如何选择合适的数据集进行训练和评估。这些设计细节对于理解和应用开放词汇目标检测方法至关重要。
🖼️ 关键图片
📊 实验亮点
本文对现有无人机开放词汇目标检测方法进行了系统性的分类和总结，并对相关数据集进行了整理。通过分析现有方法的优缺点，指出了该领域面临的关键挑战和未来的发展方向。该综述为研究人员提供了一个清晰的路线图，有助于推动该领域的进一步发展。
🎯 应用场景
该研究成果可广泛应用于智能安防、灾害救援、环境监测、农业巡检等领域。通过开放词汇目标检测，无人机可以自主识别和定位各种目标，无需预先定义类别，极大地提高了无人机的智能化水平和应用范围。例如，在灾害救援中，无人机可以快速识别受困人员、倒塌建筑物等目标，为救援工作提供重要信息。
📄 摘要（原文）
Due to its extensive applications, aerial image object detection has long been a hot topic in computer vision. In recent years, advancements in Unmanned Aerial Vehicles (UAV) technology have further propelled this field to new heights, giving rise to a broader range of application requirements. However, traditional UAV aerial object detection methods primarily focus on detecting predefined categories, which significantly limits their applicability. The advent of cross-modal text-image alignment (e.g., CLIP) has overcome this limitation, enabling open-vocabulary object detection (OVOD), which can identify previously unseen objects through natural language descriptions. This breakthrough significantly enhances the intelligence and autonomy of UAVs in aerial scene understanding. This paper presents a comprehensive survey of OVOD in the context of UAV aerial scenes. We begin by aligning the core principles of OVOD with the unique characteristics of UAV vision, setting the stage for a specialized discussion. Building on this foundation, we construct a systematic taxonomy that categorizes existing OVOD methods for aerial imagery and provides a comprehensive overview of the relevant datasets. This structured review enables us to critically dissect the key challenges and open problems at the intersection of these fields. Finally, based on this analysis, we outline promising future research directions and application prospects. This survey aims to provide a clear road map and a valuable reference for both newcomers and seasoned researchers, fostering innovation in this rapidly evolving domain. We keep tracing related works at https://github.com/zhouyang2002/OVOD-in-UVA-imagery