MAgSeg: Segmentation of Agricultural Landscapes in High-Resolution Satellite Imagery using Multimodal Large Language Models

📄 arXiv: 2605.16179v1 📥 PDF

作者: Piyush Tiwary, Utkarsh Ahuja, Depanshu Sani, Aishwarya Jayagopal, Sagar Gubbi, Subhashini Venugopalan, Alok Talekar, Vaibhav Rajan

分类: cs.CV

发布日期: 2026-05-15

💡 一句话要点

MAgSeg：利用多模态大语言模型分割高分辨率卫星图像中的农业景观

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 农业景观分割 高分辨率卫星图像 指令调优 无解码器分割

📋 核心要点

  1. 全球南方农业景观分割面临地块破碎、类内差异大和标注数据稀缺等挑战。
  2. MAgSeg提出一种无解码器的MLLM分割方法，通过指令调优数据格式实现可扩展微调和后训练。
  3. 实验表明，MAgSeg在分割小农农业景观方面显著优于现有MLLM基线方法。

📝 摘要（中文）

在全球南方，农业景观分割面临挑战，因为其特点是地块破碎、类内差异大以及缺乏带标签的训练数据。多模态大语言模型(MLLM)在分割方面取得了进展。然而，当前的方法遇到了关键的上下文长度瓶颈和理解卫星特征的领域对齐差距。我们通过MAgSeg来解决这些限制，这是一种新颖的、无解码器的MLLM分割方法。MAgSeg是一种架构高效的方法，使标准MLLM能够对高分辨率卫星图像中复杂的小农农业景观进行分割，而无需辅助视觉解码器。我们引入了一种新颖的指令调优数据格式，旨在实现高分辨率卫星图像上的可扩展微调和后训练，这使MAgSeg能够从图像的全局上下文中学习，同时仅为图像中的一个patch生成文本token。对全球南方三个国家的数据集进行的广泛评估表明，MAgSeg显著优于最先进的MLLM基线，为绘制小农农业环境图提供了一种可扩展的解决方案。

🔬 方法详解

问题定义：论文旨在解决高分辨率卫星图像中小农农业景观的精确分割问题。现有方法，特别是基于多模态大语言模型的方法，面临上下文长度限制和卫星图像特征理解的领域对齐问题，导致分割精度不高。

核心思路：论文的核心思路是利用一种架构高效的、无解码器的MLLM分割方法，即MAgSeg，结合新颖的指令调优数据格式，使模型能够学习图像的全局上下文，并仅为图像中的一个patch生成文本token，从而克服上下文长度限制和领域对齐问题。

技术框架：MAgSeg的整体框架包括：1) 使用标准MLLM作为基础模型；2) 引入一种新的指令调优数据格式，用于可扩展的微调和后训练；3) 利用高分辨率卫星图像进行训练，使模型能够学习全局上下文；4) 仅为图像中的一个patch生成文本token，以减少计算量和上下文长度需求；5) 使用训练好的模型进行农业景观分割。

关键创新：MAgSeg的关键创新在于其无解码器的架构设计和新颖的指令调优数据格式。无解码器架构避免了传统分割模型中解码器的计算开销，提高了效率。指令调优数据格式使模型能够更好地理解卫星图像的全局上下文，并生成更精确的分割结果。

关键设计：论文中关于参数设置、损失函数和网络结构的具体技术细节未详细描述，属于未知信息。但指令调优数据格式的设计是关键，它允许模型在学习全局上下文的同时，仅关注局部区域的分割。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAgSeg在对全球南方三个国家的小农农业景观进行分割时，显著优于现有的MLLM基线方法。具体的性能数据和提升幅度在论文中未明确给出，属于未知信息。但总体而言，MAgSeg展现了其在处理复杂农业景观分割任务方面的优越性能。

🎯 应用场景

MAgSeg在农业领域具有广泛的应用前景，例如精准农业、农作物监测、产量预测、土地利用规划等。该研究可以帮助政府和农业机构更好地了解农业景观的分布和变化，从而制定更有效的农业政策和管理措施。此外，该方法还可以应用于其他遥感图像分割任务，例如城市规划、环境监测等。

📄 摘要（原文）

Agricultural landscape segmentation in the Global South is challenging as it is characterized by fragmented plots, high intra-class variance, and a scarcity of labeled training data. Recent advances in segmentation have been made by Multimodal Large Language Models (MLLMs). However, current approaches encounter critical context length bottlenecks and a domain alignment gap in understanding satellite features. We address these limitations through MAgSeg, a novel, decoder-free MLLM segmentation approach. MAgSeg is an architecturally efficient approach that enables standard MLLMs to perform segmentation of complex smallholder agricultural landscapes from high-resolution satellite imagery, without requiring auxiliary vision decoders. We introduce a novel instruction tuning data format designed to enable scalable fine-tuning and post-training on high resolution satellite imagery, which enables MAgSeg to learn from the global context of the image while generating text tokens for only a patch within the image. Extensive evaluations on datasets spanning three countries in the Global South demonstrate that MAgSeg significantly outperforms state-of-the-art MLLM baselines, offering a scalable solution to map smallholder agricultural environments.