Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs

📄 arXiv: 2607.22205v1 📥 PDF

作者: Yuheng Zong, Minghua Wang, Xin Zhao, Zhi-Hui Zhan, Antonio Plaza, Jon Atli Benediktsson

分类: cs.CV, cs.AI

发布日期: 2026-07-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出能力差距驱动的后训练方法以解决遥感多模态大语言模型的场景专用性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感技术 多模态学习 能力差距 后训练 场景专用性 数据集构建 模型微调

📋 核心要点

  1. 现有的遥感多模态大语言模型在特定场景应用中面临能力覆盖不足的问题，限制了其实际应用效果。
  2. 本文提出的填充后推进（FBA）方法通过先填补能力差距，再进行场景专用微调，提升了模型的适应性。
  3. 实验结果显示，FBA在多个基准测试中显著提高了模型性能，尤其是在海岸港口相关任务上表现优异。

📝 摘要（中文）

遥感多模态大语言模型（RS-MLLMs）在空中图像理解方面取得了进展，但地球观测应用需要更细致的场景专用性，受限于高质量场景数据的稀缺和能力覆盖的不完整。本文将这种适应性问题表述为能力差距驱动的后训练问题，并提出了填充后推进（FBA）的方法。FBA在进行目标领域样本的单阶段监督微调（SFT）之前，首先填补必要的能力差距。我们以海岸港口理解为例，构建了CPRS（海岸港口遥感）数据集，并设计了三个阶段的监督机制。实验结果表明，在相同的训练预算下，FBA显著提升了模型性能。

🔬 方法详解

问题定义：本文旨在解决遥感多模态大语言模型在特定场景应用中的能力覆盖不足问题。现有方法主要依赖单阶段的监督微调，无法有效应对多样化的场景需求。

核心思路：提出的填充后推进（FBA）方法通过分阶段填补模型的能力差距，确保在进行场景专用微调之前，模型具备必要的基础能力，从而提高适应性和性能。

技术框架：FBA方法包括三个主要阶段：第一阶段为遥感语义锚定，实现空中视图的视觉-语言对齐；第二阶段为领域桥接收敛，确保不同模态下的共享遥感先验；第三阶段为基于证据的场景调优，提升下游任务的表现。

关键创新：FBA的核心创新在于其能力差距驱动的分阶段训练策略，与传统的单阶段微调方法相比，FBA通过逐步填补能力差距，显著提升了模型的场景适应能力。

关键设计：在模型训练中，采用了三层监督机制，结合不同阶段的任务目标，设计了相应的损失函数和网络结构，以确保模型在每个阶段都能有效学习和调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用FBA方法后，LLaVA-v1.5模型的性能从57.95提升至70.29，Qwen3-VL模型的性能从81.09提升至83.37，显著优于直接监督微调（Direct-SFT）和其他对比基线，验证了FBA的有效性。

🎯 应用场景

该研究的潜在应用领域包括遥感图像分析、环境监测和城市规划等。通过提升遥感多模态大语言模型在特定场景下的性能，能够为相关领域提供更精准的决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Remote sensing multimodal large language models (RS-MLLMs) have improved general aerial-image understanding. However, Earth observation applications require fine-grained scenario specialization, constrained by scarce high-quality scenario data and incomplete capability coverage. We formulate this adaptation as a capability-gap-driven post-training problem and propose filling before advancing (FBA). Rather than relying on single-stage supervised fine-tuning (SFT) over target-domain samples, FBA first fills prerequisite capability gaps before advancing toward scenario specialization. We instantiate FBA for coastal harbor understanding, a representative multi-source scenario, by constructing CPRS (Coastal-Port Remote Sensing), a three-layer supervision dataset coupled with three ordered stages: (1) RS semantic anchoring for overhead-view visual-language alignment; (2) domain-bridge convergence for shared RS priors across target and bridging scenarios under different modalities; and (3) evidence-grounded scenario tuning for downstream performance. We construct HarborEval, an eight-track diagnostic benchmark covering perception, spatial understanding, robustness, and generation. Under comparable training budgets, HarborEval increases from 57.95 with Direct-SFT to 70.29 with FBA on LLaVA-v1.5, and from 81.09 to 83.37 on Qwen3-VL. FBA also outperforms Collapsed-SFT and leads on harbor-related VRSBench/RSVQA subsets and OpenEval. Stage-wise and role-replacement analyses validate progressive gap filling and stage-specific roles. Public examples and release updates for CPRS, HarborEval, code, and trained weights are available at https://github.com/Z0ngL1ng/filling-before-advancing.