EarthMarker: A Visual Prompting Multi-modal Large Language Model for Remote Sensing
作者: Wei Zhang, Miaoxin Cai, Tong Zhang, Jun Li, Yin Zhuang, Xuerui Mao
分类: cs.CV
发布日期: 2024-07-18 (更新: 2024-11-29)
🔗 代码/项目: GITHUB
💡 一句话要点
提出EarthMarker：一种基于视觉提示的多模态大语言模型，用于遥感图像理解
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感图像理解 多模态学习 视觉提示 大语言模型 跨域学习 RSVP数据集 空间信息 指令跟随
📋 核心要点
- 遥感场景复杂，仅用语言指令传递信息困难且低效，阻碍了对图像潜在内容的深入理解。
- EarthMarker利用视觉提示（框和点）在不同粒度解释遥感图像，并结合跨域学习策略迁移知识。
- 构建了RSVP数据集，包含多模态多粒度视觉提示指令，以解决遥感视觉提示数据匮乏的问题。
📝 摘要（中文）
本文提出了一种基于视觉提示的多模态大语言模型（MLLM）EarthMarker，用于解决遥感领域中复杂场景下仅使用语言指令进行信息传递的困难和低效问题。EarthMarker能够通过利用视觉提示（如框和点）在图像、区域和点级别解释遥感图像。该模型开发了一种共享的视觉编码方法，以建立输入图像的多尺度表示与各种视觉提示之间的空间模式解释关系。随后，混合的视觉-空间表示与语言指令相关联，以构建联合提示，从而解释遥感图像的复杂内容。此外，开发了一种跨域学习策略，以弥合自然场景和遥感数据之间的领域差距，并有效地将领域级知识从自然场景转移到遥感领域。为了解决遥感视觉提示数据的缺乏问题，构建了一个名为RSVP的数据集，该数据集具有多模态、多粒度的视觉提示指令跟随。代码和数据集可在https://github.com/wivizhang/EarthMarker获取。
🔬 方法详解
问题定义：遥感图像理解任务中，现有方法依赖纯文本指令进行交互，在复杂场景下信息传递效率低，难以充分挖掘图像中的潜在信息。同时，自然场景下的提示策略难以直接应用于遥感数据，存在显著的领域差异。缺乏专门针对遥感图像的视觉提示数据集也是一个挑战。
核心思路：EarthMarker的核心思路是引入视觉提示（如边界框和点）作为辅助信息，与文本指令结合，形成联合提示，从而更精确地引导模型理解遥感图像。通过共享视觉编码器建立图像特征与视觉提示之间的空间关系，并采用跨域学习策略，将自然场景的知识迁移到遥感领域，提升模型性能。
技术框架：EarthMarker的整体框架包含以下几个主要模块：1) 共享视觉编码器：用于提取输入图像和视觉提示的多尺度特征表示。2) 视觉-空间表示融合模块：将图像特征和视觉提示特征进行融合，形成混合的视觉-空间表示。3) 联合提示构建模块：将融合后的视觉-空间表示与文本指令结合，构建联合提示。4) 大语言模型：利用联合提示进行遥感图像的理解和推理。
关键创新：EarthMarker的关键创新在于：1) 提出了一种基于视觉提示的遥感图像理解方法，能够有效利用空间信息。2) 设计了一种共享视觉编码器，用于建立图像特征与视觉提示之间的空间关系。3) 提出了跨域学习策略，将自然场景的知识迁移到遥感领域。4) 构建了RSVP数据集，填补了遥感视觉提示数据集的空白。
关键设计：共享视觉编码器可能采用Transformer结构，通过自注意力机制学习图像和视觉提示之间的关系。跨域学习策略可能采用对抗训练或领域自适应方法，减小自然场景和遥感数据之间的特征差异。RSVP数据集的构建需要精心设计提示类型和指令，以覆盖遥感图像理解的各种任务。
🖼️ 关键图片
📊 实验亮点
论文构建了RSVP数据集，并提出了EarthMarker模型。实验结果（具体数值未知）表明，EarthMarker在遥感图像理解任务上取得了显著的性能提升，证明了视觉提示和跨域学习策略的有效性。与仅使用文本指令的模型相比，EarthMarker能够更准确地理解遥感图像的复杂内容。
🎯 应用场景
EarthMarker在遥感图像解译领域具有广泛的应用前景，例如土地利用分类、灾害监测、目标检测等。该模型可以辅助专业人员快速准确地理解遥感图像，提高工作效率。未来，EarthMarker可以进一步扩展到其他遥感应用场景，例如三维重建、变化检测等，为智慧城市建设和环境保护提供技术支持。
📄 摘要（原文）
Recent advances in prompt learning have allowed users to interact with artificial intelligence (AI) tools in multi-turn dialogue, enabling an interactive understanding of images. However, it is difficult and inefficient to deliver information in complicated remote sensing (RS) scenarios using plain language instructions alone, which would severely hinder deep comprehension of the latent content in imagery. Besides, existing prompting strategies in natural scenes are hard to apply to interpret the RS data due to significant domain differences. To address these challenges, the first visual prompting-based multi-modal large language model (MLLM) named EarthMarker is proposed in the RS domain. EarthMarker is capable of interpreting RS imagery at the image, region, and point levels by levering visual prompts (i.e., boxes and points). Specifically, a shared visual encoding method is developed to establish the spatial pattern interpretation relationships between the multi-scale representations of input images and various visual prompts. Subsequently, the mixed visual-spatial representations are associated with language instructions to construct joint prompts, enabling the interpretation of intricate content of RS imagery. Furthermore, to bridge the domain gap between natural and RS data, and effectively transfer domain-level knowledge from natural scenes to the RS domain, a cross-domain learning strategy is developed to facilitate the RS imagery understanding. In addition, to tackle the lack of RS visual prompting data, a dataset named RSVP featuring multi-modal multi-granularity visual prompts instruction-following is constructed. Our code and dataset are available at https://github.com/wivizhang/EarthMarker.