XLRS-Bench: Could Your Multimodal LLMs Understand Extremely Large Ultra-High-Resolution Remote Sensing Imagery?

📄 arXiv: 2503.23771v1 📥 PDF

作者: Fengxiang Wang, Hongzhen Wang, Mingshuo Chen, Di Wang, Yulin Wang, Zonghao Guo, Qiang Ma, Long Lan, Wenjing Yang, Jing Zhang, Zhiyuan Liu, Maosong Sun

分类: cs.CV

发布日期: 2025-03-31

备注: It has been accepted by CVPR2025

💡 一句话要点

XLRS-Bench：评估多模态LLM在超高分辨率遥感图像理解上的能力

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像 多模态学习 大型语言模型 基准数据集 超高分辨率 图像理解 人工智能

📋 核心要点

  1. 现有遥感图像基准数据集图像分辨率低、标注质量不高、评估维度不足，难以满足实际应用需求。
  2. 提出XLRS-Bench，一个包含超高分辨率遥感图像的综合基准，并包含细致的人工标注。
  3. 定义了16个子任务，覆盖感知和推理能力，实验结果表明现有MLLM在遥感应用中仍有提升空间。

📝 摘要（中文）

多模态大型语言模型(MLLM)的突破需要新的基准来定量评估其能力，揭示其局限性，并指示未来的研究方向。然而，在遥感(RS)领域，由于图像具有超高分辨率和极其复杂的语义关系，这极具挑战性。现有的基准通常采用比实际RS场景小得多的图像尺寸，注释质量有限，并且评估维度不足。为了解决这些问题，我们提出了XLRS-Bench：一个综合基准，用于评估MLLM在超高分辨率RS场景中的感知和推理能力。XLRS-Bench拥有迄今为止观察到的最大的平均图像尺寸(8500x8500)，所有评估样本都经过人工精心注释，并由一种新型的超高分辨率RS图像半自动字幕器辅助。在XLRS-Bench之上，定义了16个子任务，以评估MLLM的10种感知能力和6种推理能力，主要侧重于促进实际决策和捕获时空变化的高级认知过程。通用和RS-focused MLLM在XLRS-Bench上的结果表明，在实际RS应用中还需要进一步的努力。我们已经开源了XLRS-Bench，以支持进一步研究开发更强大的遥感MLLM。

🔬 方法详解

问题定义：现有遥感图像数据集在评估多模态大型语言模型（MLLM）的感知和推理能力方面存在不足。具体来说，现有数据集的图像分辨率远低于实际遥感场景，导致模型无法有效学习和理解复杂的语义关系。此外，标注质量和评估维度也存在局限性，难以全面评估MLLM在遥感领域的应用潜力。这些问题阻碍了MLLM在遥感领域的实际应用。

核心思路：论文的核心思路是构建一个高质量、高分辨率的遥感图像基准数据集，即XLRS-Bench。该数据集包含超高分辨率的遥感图像，并辅以人工精细标注，旨在更真实地反映实际遥感场景的复杂性。通过在该数据集上定义一系列感知和推理任务，可以更全面、准确地评估MLLM在遥感领域的性能。

技术框架：XLRS-Bench的构建主要包括以下几个阶段：1) 数据收集：收集超高分辨率的遥感图像数据。2) 数据标注：采用人工标注的方式，对图像进行细致的语义标注。为了提高标注效率，还开发了一种半自动字幕器辅助标注。3) 任务定义：在数据集上定义16个子任务，涵盖感知和推理两个方面，旨在评估MLLM在遥感图像理解方面的各种能力。4) 模型评估：使用现有的MLLM模型在XLRS-Bench上进行评估，并分析其性能表现。

关键创新：XLRS-Bench的关键创新在于其超高的图像分辨率和高质量的人工标注。与现有数据集相比，XLRS-Bench的图像分辨率更高，更接近实际遥感场景，能够更好地反映遥感图像的复杂性。此外，人工标注保证了标注的准确性和一致性，为MLLM的学习和评估提供了可靠的基础。半自动标注工具也提高了标注效率。

关键设计：XLRS-Bench的图像平均尺寸为8500x8500像素，远高于现有遥感数据集。标注方式采用人工标注，并辅以半自动字幕器。16个子任务涵盖了10种感知能力（如目标检测、场景分类）和6种推理能力（如时空变化分析、决策支持）。评估指标包括准确率、召回率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

XLRS-Bench数据集的平均图像尺寸达到8500x8500，远超现有遥感数据集。通过对通用和遥感领域MLLM的评估，发现现有模型在复杂遥感场景下的感知和推理能力仍有待提高。该基准的开源将促进遥感领域MLLM的进一步发展。

🎯 应用场景

该研究成果可应用于智慧城市、农业监测、灾害评估、环境监测等领域。通过提升MLLM对超高分辨率遥感图像的理解能力，可以更有效地进行地物识别、变化检测和趋势分析，为相关领域的决策提供支持，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

The astonishing breakthrough of multimodal large language models (MLLMs) has necessitated new benchmarks to quantitatively assess their capabilities, reveal their limitations, and indicate future research directions. However, this is challenging in the context of remote sensing (RS), since the imagery features ultra-high resolution that incorporates extremely complex semantic relationships. Existing benchmarks usually adopt notably smaller image sizes than real-world RS scenarios, suffer from limited annotation quality, and consider insufficient dimensions of evaluation. To address these issues, we present XLRS-Bench: a comprehensive benchmark for evaluating the perception and reasoning capabilities of MLLMs in ultra-high-resolution RS scenarios. XLRS-Bench boasts the largest average image size (8500$\times$8500) observed thus far, with all evaluation samples meticulously annotated manually, assisted by a novel semi-automatic captioner on ultra-high-resolution RS images. On top of the XLRS-Bench, 16 sub-tasks are defined to evaluate MLLMs' 10 kinds of perceptual capabilities and 6 kinds of reasoning capabilities, with a primary emphasis on advanced cognitive processes that facilitate real-world decision-making and the capture of spatiotemporal changes. The results of both general and RS-focused MLLMs on XLRS-Bench indicate that further efforts are needed for real-world RS applications. We have open-sourced XLRS-Bench to support further research in developing more powerful MLLMs for remote sensing.