From Coordinates to Candidate Regions: Temporal Change Localization via Region Selection in Remote Sensing Multimodal LLMs
作者: Juwan Chung, Sungjune Park, Yeongyun Kim, Yong Man Ro
分类: cs.CV, cs.CL
发布日期: 2026-09-08
备注: Accepted to Findings of EMNLP 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出区域选择方法以解决遥感图像中的时变变化定位问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感图像 区域选择 多模态大语言模型 时变变化定位 视觉问答 环境监测 目标检测
📋 核心要点
- 现有方法在遥感图像中定位特定对象或变化区域时存在脆弱性，尤其是在处理小型密集物体和多个目标时。
- 本文提出了一种新的区域选择方法，结合文本条件的区域提议模块，利用空间和时间线索来增强候选区域的表示。
- 实验结果显示，该方法在时变变化定位任务中显著超越了传统的坐标生成基线，同时在单图像视觉定位任务中也表现出色。
📝 摘要（中文）
遥感多模态大语言模型（RS-MLLMs）在卫星图像的场景理解和视觉问答方面取得了进展，但特定对象或变化区域的定位仍然具有挑战性。现有方法依赖于生成边界框坐标作为令牌序列，这在遥感中常见的小型密集物体上表现脆弱，并且在需要同时定位多个目标时错误率增加。本文提出了一种针对遥感的区域选择范式，扩展到多图像序列的时变变化定位。我们的框架采用文本条件的区域提议模块，将每个候选区域编码为携带每帧视觉特征的特殊令牌，并通过选择区域令牌来实现目标定位。实验表明，该方法在时变变化定位上显著优于坐标生成基线，同时改善了单图像视觉定位性能。
🔬 方法详解
问题定义：本文旨在解决遥感图像中时变变化的定位问题，现有方法通过生成边界框坐标的方式定位目标，但在小型密集物体和多目标场景中表现不佳，导致错误率增加。
核心思路：论文提出了一种区域选择的范式，利用文本条件的区域提议模块，将每个候选区域编码为特殊令牌，结合空间和时间特征，增强了目标定位的准确性。
技术框架：整体架构包括文本条件的区域提议模块、候选区域的特征编码、以及基于选择的目标定位。该框架支持多任务训练与评估，涵盖了定位、引用表达、视觉定位和理解等任务。
关键创新：最重要的创新在于将区域选择方法扩展到遥感领域，利用多图像序列中的时变信息，显著提升了定位精度，与传统的坐标生成方法相比，具有更强的鲁棒性。
关键设计：在设计中，采用了特殊令牌来表示候选区域，结合每帧的视觉特征，并引入了空间和时间线索，优化了损失函数以适应多任务学习的需求。具体的网络结构和参数设置将在代码中详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在时变变化定位任务中显著优于传统的坐标生成基线，提升幅度达到XX%（具体数据待补充），同时在单图像视觉定位任务中也保持了竞争力，验证了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括环境监测、城市规划、灾害评估等，能够有效地识别和定位遥感图像中的变化区域，提升决策支持系统的准确性和效率。未来，该方法有望在更广泛的遥感应用中推广，促进智能化的地理信息系统发展。
📄 摘要（原文）
Remote sensing multimodal large language models (RS-MLLMs) have advanced scene understanding and visual question answering over satellite imagery, yet localizing specific objects or changed regions remains challenging. Existing approaches rely on generating bounding box coordinates as token sequences, which is fragile for the small, densely packed objects common in remote sensing and increasingly error-prone when multiple targets must be localized simultaneously. In this work, we present an RS-specific formulation of the region selection paradigm, previously explored in natural-image MLLMs, and extend it to temporal change localization over multi-image sequences. Our framework employs a text-conditioned region proposal module, encodes each candidate as special tokens carrying per-frame visual features enriched with spatial and temporal cues, and lets the LLM localize targets by selecting region tokens in its response. We construct a multi-task training and evaluation suite spanning localization, referring expression, visual grounding, and understanding tasks across single-image and multi-temporal settings. Experiments show that our approach substantially outperforms coordinate-generation baselines on temporal change localization, while improving single-image visual grounding and maintaining competitive understanding performance. Oracle analysis decomposes the contributions of the region proposer and the LLM selector, providing diagnostic insight unique to this framework. Our code will be available at https://github.com/juwan-kr/RS-RegionSelect.