Foundation Models for Remote Sensing: An Analysis of MLLMs for Object Localization

📄 arXiv: 2504.10727v1 📥 PDF

作者: Darryl Hannan, John Cooper, Dylan White, Timothy Doster, Henry Kvinge, Yijing Watkins

分类: cs.CV

发布日期: 2025-04-14

备注: 26 pages, CVPR MORSE Workshop 2025

💡 一句话要点

分析多模态大语言模型在遥感目标定位中的应用，并优化提示工程与GSD。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 遥感图像 目标定位 零样本学习 提示工程 地面采样距离 地球观测

📋 核心要点

  1. 现有的多模态大语言模型在地球观测图像目标定位等需要精细空间推理的任务中表现不佳，限制了其应用。
  2. 本研究分析了经过专门训练以包含精细空间推理能力的最新MLLMs，并针对地球观测目标定位任务进行了基准测试。
  3. 实验表明，这些模型在特定设置下表现良好，尤其是在零样本场景中，并讨论了提示选择和GSD优化等关键因素。

📝 摘要（中文）

多模态大语言模型(MLLMs)改变了计算机视觉的格局，在各种任务中取得了令人印象深刻的结果，尤其是在零样本设置中。然而，它们强大的性能并不总是能转移到分布外的领域，如地球观测(EO)图像。先前的工作表明，MLLMs擅长一些EO任务，如图像描述和场景理解，但在需要更精细的空间推理的任务(如目标定位)中则表现不佳。然而，MLLMs正在迅速发展，之前的结论很快就会过时。在这项工作中，我们分析了最近的MLLMs，这些模型经过专门训练，包括精细的空间推理能力，并在EO目标定位任务上对它们进行基准测试。我们证明了这些模型在某些设置中表现良好，非常适合零样本场景。此外，我们还提供了详细的讨论，重点是提示选择、地面采样距离(GSD)优化和分析失败案例。我们希望这项工作对其他人评估MLLM是否适合给定的EO定位任务以及如何优化它有所帮助。

🔬 方法详解

问题定义：论文旨在解决地球观测（EO）图像中目标定位的问题。现有的多模态大语言模型（MLLMs）虽然在图像描述和场景理解等任务上表现出色，但在需要精细空间推理的目标定位任务上存在不足。这主要是因为这些模型在训练时可能缺乏对遥感图像空间信息的有效利用，导致无法准确识别和定位目标。

核心思路：论文的核心思路是利用经过专门训练，具备精细空间推理能力的最新MLLMs，并针对EO目标定位任务进行优化。通过调整提示工程（Prompt Engineering）和地面采样距离（GSD），提升模型在零样本场景下的目标定位性能。论文还深入分析了模型的失败案例，为进一步改进模型提供了方向。

技术框架：论文采用的整体框架是：首先，选择具备空间推理能力的MLLMs作为基础模型；然后，构建EO目标定位数据集，并设计合适的提示模板；接着，通过实验评估不同提示和GSD设置下模型的性能；最后，分析模型的失败案例，总结经验教训。该框架旨在系统地评估和优化MLLMs在EO目标定位任务中的表现。

关键创新：论文的关键创新在于：1）针对EO目标定位任务，评估了最新具备空间推理能力的MLLMs的性能；2）提出了针对EO图像的提示工程优化方法，探索了不同提示对模型性能的影响；3）研究了GSD对目标定位的影响，并提出了GSD优化策略。这些创新为MLLMs在遥感领域的应用提供了有价值的参考。

关键设计：论文的关键设计包括：1）提示工程：设计不同的提示模板，例如包含目标类别、位置信息等，以引导模型进行目标定位；2）GSD优化：调整输入图像的GSD，以适应不同目标的尺寸和分辨率；3）失败案例分析：深入分析模型无法正确识别和定位目标的案例，例如目标遮挡、光照变化等，为模型改进提供依据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究表明，经过专门训练的MLLMs在EO目标定位任务中具有潜力，尤其是在零样本场景下。通过优化提示工程和GSD，可以显著提升模型的性能。例如，特定的提示模板可以提高目标定位的准确率，而合适的GSD可以更好地适应不同尺寸的目标。此外，对失败案例的分析为进一步改进模型提供了重要的指导。

🎯 应用场景

该研究成果可应用于遥感图像分析、灾害监测、城市规划、农业监测等领域。通过利用MLLMs的零样本学习能力，可以快速部署目标定位系统，无需大量标注数据。未来，结合主动学习和持续学习等技术，可以进一步提升模型的性能和泛化能力，实现更智能化的遥感图像分析。

📄 摘要（原文）

Multimodal large language models (MLLMs) have altered the landscape of computer vision, obtaining impressive results across a wide range of tasks, especially in zero-shot settings. Unfortunately, their strong performance does not always transfer to out-of-distribution domains, such as earth observation (EO) imagery. Prior work has demonstrated that MLLMs excel at some EO tasks, such as image captioning and scene understanding, while failing at tasks that require more fine-grained spatial reasoning, such as object localization. However, MLLMs are advancing rapidly and insights quickly become out-dated. In this work, we analyze more recent MLLMs that have been explicitly trained to include fine-grained spatial reasoning capabilities, benchmarking them on EO object localization tasks. We demonstrate that these models are performant in certain settings, making them well suited for zero-shot scenarios. Additionally, we provide a detailed discussion focused on prompt selection, ground sample distance (GSD) optimization, and analyzing failure cases. We hope that this work will prove valuable as others evaluate whether an MLLM is well suited for a given EO localization task and how to optimize it.