Attention from Above: A Multimodal Model for Drone-Based Object Localization

📄 arXiv: 2607.17669v1 📥 PDF

作者: Hyun-Ki Jung

分类: cs.CV

发布日期: 2026-07-20

备注: Preprint. Accepted for publication in the International Journal of Interactive Mobile Technologies

💡 一句话要点

提出多模态模型以提升无人机目标检测精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机目标检测 多模态模型 注意力机制 YOLO-World 小目标检测 计算机视觉 深度学习

📋 核心要点

  1. 现有无人机目标检测方法在小目标和边界清晰对象的检测上存在精度不足的问题。
  2. 本文提出了一种基于YOLO-World框架的多模态目标检测模型，通过引入注意力机制来提升小目标检测性能。
  3. 实验结果显示，所提模型在多个指标上均优于原YOLO-World模型，检测精度显著提升。

📝 摘要（中文）

无人机目标检测技术迅速发展，研究趋势已从预定义对象检测扩展到指定目标对象识别。为满足这一需求，本文提出了一种高效的多模态目标检测模型，旨在改善小目标检测性能。该方法基于YOLO-World框架，使用注意力机制的A2C2f层替代YOLOv8主干中的C2f层，从而更精确地表示局部特征，特别是小目标或边界清晰的对象。此外，注意力机制和并行处理结构的引入显著提高了模型的计算准确性。在VisDrone数据集上的比较实验表明，所提模型在检测精度上优于原YOLO-World模型，多个指标均有显著提升，验证了该方法在无人机图像和视频应用环境中的有效性和高准确性。

🔬 方法详解

问题定义：本文旨在解决无人机图像中小目标检测精度不足的问题。现有方法在处理小目标和边界清晰对象时，常常无法有效捕捉其特征，导致检测性能下降。

核心思路：论文的核心解决思路是通过引入注意力机制的A2C2f层替代YOLOv8中的C2f层，以更好地表示局部特征，从而提高小目标的检测精度。

技术框架：整体架构基于YOLO-World框架，主要模块包括特征提取、注意力机制应用和目标检测。特征提取模块负责从输入图像中提取特征，注意力机制模块增强特征表示，最后通过检测模块进行目标识别。

关键创新：最重要的技术创新点在于引入了注意力机制的A2C2f层，这一设计使得模型在处理小目标时能够更精确地捕捉局部特征，与现有方法相比，显著提升了检测性能。

关键设计：在模型设计中，关键参数设置包括注意力机制的权重调整和损失函数的优化。此外，网络结构中A2C2f层的设计使得模型能够并行处理特征，提高计算效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，所提模型在VisDrone数据集上的表现优于原YOLO-World模型，具体提升包括：精度从43.0%提升至45.1%，召回率从32.8%提升至35.0%，F1分数从37.2%提升至39.4%，mAP@0.5从32.5%提升至35.2%，mAP@0.5-0.95从18.5%提升至19.9%。这些结果验证了模型在无人机图像和视频应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括无人机监控、农业监测、环境保护和灾害救援等场景。通过提高小目标的检测精度，能够更有效地识别和跟踪目标，提升无人机在复杂环境中的应用价值。未来，该技术可能推动无人机在智能交通、安防监控等领域的广泛应用。

📄 摘要（原文）

Drone-based object detection technology has advanced rapidly, becoming increasingly sophisticated and efficient. Recently, research trends have expanded beyond the detection of predefined objects toward the identification of specified target objects. For example, desired targets can be specified through textual prompts, enabling accurate detection of objects of interest. To address this demand, this paper proposes an efficient multimodal-based object detection model aimed at improving small object detection performance. The proposed method is built upon the YOLO-World framework and replaces the C2f layers used in the YOLOv8 backbone with attention-based A2C2f layers. This modification enables more precise representation of local features, particularly for small objects or objects with well-defined boundaries. In addition, the incorporation of attention mechanisms and parallel processing structures significantly enhances the model's computational accuracy. Comparative experiments conducted on the VisDrone dataset demonstrate that the proposed model outperforms the original YOLO-World model. Specifically, precision increases from 43.0% to 45.1%, recall from 32.8% to 35.0%, the F1 score from 37.2% to 39.4%, mAP@0.5 from 32.5% to 35.2%, and mAP@0.5-0.95 from 18.5% to 19.9%, confirming a substantial improvement in detection accuracy. These results verify that the proposed approach provides an effective and highly accurate solution for object detection in drone-based image and video application environments.