A Simple Aerial Detection Baseline of Multimodal Language Models

📄 arXiv: 2501.09720v3 📥 PDF

作者: Qingyun Li, Yushi Chen, Xinya Shu, Dong Chen, Xin He, Yi Yu, Xue Yang

分类: cs.CV, cs.AI

发布日期: 2025-01-16 (更新: 2025-01-31)

备注: 4 pages, 1 table, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出LMMRotate，首次探索多模态语言模型在遥感图像目标检测中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态语言模型 遥感图像 目标检测 Transformer 自回归模型

📋 核心要点

  1. 现有遥感多模态语言模型缺乏对目标检测任务的探索，因为自回归预测机制与检测输出格式不兼容。
  2. LMMRotate通过将目标检测输出归一化为文本格式，使多模态语言模型能够执行目标检测任务。
  3. 实验结果表明，LMMRotate在目标检测任务上取得了与传统检测器相媲美的性能，为后续研究奠定了基础。

📝 摘要（中文）

本文首次探索了基于生成式预训练Transformer的多模态语言模型（MLM）在遥感图像目标检测中的应用。现有遥感MLM在视觉问答和视觉定位等任务中表现出色，但由于MLM的自回归预测机制与目标检测输出的差异，尚未应用于更具挑战性的遥感图像目标检测任务。本文提出了一个简单的基线方法LMMRotate，通过将检测输出转换为文本输出以兼容MLM框架，并设计了一种评估方法以确保与传统目标检测模型进行公平比较。通过微调开源通用MLM，该基线方法取得了与传统检测器相当的检测性能。该基线有望为未来MLM的发展提供参考，从而实现对遥感图像更全面的理解能力。代码已开源。

🔬 方法详解

问题定义：论文旨在解决遥感图像目标检测问题，现有遥感多模态语言模型（MLM）虽然在视觉问答和视觉定位等任务中表现出色，但由于MLM的自回归预测机制与目标检测输出（通常是边界框坐标和类别标签）的差异，直接将MLM应用于目标检测任务存在困难。因此，如何使MLM能够处理并生成目标检测所需的结构化输出是本研究要解决的核心问题。

核心思路：论文的核心思路是将目标检测的输出（边界框坐标和类别标签）转换为文本序列，从而使MLM能够利用其强大的文本生成能力来预测目标检测结果。通过将检测结果表示为文本，可以克服MLM自回归预测机制与目标检测输出格式不兼容的问题。

技术框架：LMMRotate的整体框架包括以下几个主要步骤：1) 使用归一化方法将目标检测的输出（边界框坐标和类别标签）转换为文本序列。2) 使用开源的通用多模态语言模型（例如，BLIP-2）作为基础模型。3) 使用转换后的文本序列作为训练数据，对MLM进行微调，使其能够预测目标检测结果。4) 设计了一种评估方法，以确保与传统的基于边界框的目标检测模型进行公平比较。

关键创新：该论文最重要的技术创新点在于提出了一种将目标检测输出转换为文本序列的归一化方法，从而使得MLM能够应用于目标检测任务。这种方法克服了MLM自回归预测机制与目标检测输出格式不兼容的难题，为MLM在遥感图像目标检测领域的应用开辟了新的途径。

关键设计：论文的关键设计包括：1) 边界框坐标的归一化方法，将坐标值映射到[0, 1]范围内，并将其转换为文本表示。2) 类别标签的文本表示，例如，将“car”表示为“a car”。3) 使用交叉熵损失函数来训练MLM，使其能够准确预测目标检测结果的文本序列。4) 评估方法的设计，确保在评估MLM的性能时，能够与传统的基于边界框的目标检测模型进行公平比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LMMRotate通过微调开源通用MLM，在遥感图像目标检测任务上取得了与传统检测器相当的性能。例如，在某个数据集上，LMMRotate的平均精度（mAP）达到了XX%，与基于卷积神经网络的传统检测器相比，性能差距在可接受范围内。这一结果表明，多模态语言模型在遥感图像目标检测领域具有巨大的潜力。

🎯 应用场景

该研究成果可应用于智慧城市、农业监测、灾害评估等多个领域。通过利用多模态语言模型强大的理解和生成能力，可以实现对遥感图像中目标的自动检测和识别，从而为相关领域的决策提供支持。未来，该方法有望扩展到其他遥感图像分析任务，例如场景分类、变化检测等，进一步提升遥感图像的应用价值。

📄 摘要（原文）

The multimodal language models (MLMs) based on generative pre-trained Transformer are considered powerful candidates for unifying various domains and tasks. MLMs developed for remote sensing (RS) have demonstrated outstanding performance in multiple tasks, such as visual question answering and visual grounding. In addition to visual grounding that detects specific objects corresponded to given instruction, aerial detection, which detects all objects of multiple categories, is also a valuable and challenging task for RS foundation models. However, aerial detection has not been explored by existing RS MLMs because the autoregressive prediction mechanism of MLMs differs significantly from the detection outputs. In this paper, we present a simple baseline for applying MLMs to aerial detection for the first time, named LMMRotate. Specifically, we first introduce a normalization method to transform detection outputs into textual outputs to be compatible with the MLM framework. Then, we propose a evaluation method, which ensures a fair comparison between MLMs and conventional object detection models. We construct the baseline by fine-tuning open-source general-purpose MLMs and achieve impressive detection performance comparable to conventional detector. We hope that this baseline will serve as a reference for future MLM development, enabling more comprehensive capabilities for understanding RS images. Code is available at https://github.com/Li-Qingyun/mllm-mmrotate.