Rethinking Electro-Optical Vision Foundation Models for Remote Sensing Retrieval: A Controlled Comparison with Generalist VFM

📄 arXiv: 2605.02283v1 📥 PDF

作者: Hyobin Park, Minseok Seo, Dong-Geol Choi

分类: cs.CV, cs.AI

发布日期: 2026-05-04

💡 一句话要点

对比通用视觉模型，评估遥感检索中专用电光视觉基础模型的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像检索 视觉基础模型 电光视觉模型 通用视觉模型 跨场景泛化 领域自适应 图像表征

📋 核心要点

  1. 遥感图像数据获取昂贵且标注困难，现有电光视觉基础模型旨在学习领域特定表征。
  2. 论文通过受控实验，对比了电光专用模型和通用视觉模型在遥感图像检索任务上的性能。
  3. 实验表明，通用视觉模型在检索性能和跨场景泛化能力上与专用模型相当甚至更优。

📝 摘要（中文）

视觉基础模型因其利用大规模无标签视觉数据的能力而备受关注。在遥感领域，数据获取成本高昂且标注通常需要专业知识，因此这一优势尤为重要。近期的电光视觉基础模型旨在从遥感图像中学习领域特定的表征，但它们在基于检索的评估中是否比强大的通用视觉基础模型更有效仍不清楚。本研究对代表性的电光专用和通用视觉基础模型进行了受控比较，用于遥感图像检索。使用相同的数据集、检索协议和评估指标，我们评估了领域内性能和跨场景泛化能力。结果表明，强大的通用视觉基础模型与现有的电光专用模型具有竞争力，在某些情况下甚至优于后者。此外，电光专用模型在跨场景评估中经常出现显著的性能下降，而通用模型表现出更稳定的迁移能力。这些发现表明，仅靠电光预训练并不能保证更强的面向检索的遥感表征。我们讨论了当前电光专用预训练策略的局限性，并强调未来的电光视觉基础模型需要更好地利用遥感图像的物理、空间、光谱和地理特征。

🔬 方法详解

问题定义：论文旨在评估电光（EO）专用视觉基础模型在遥感图像检索任务中，相对于通用视觉基础模型的有效性。现有EO专用模型声称能更好地学习遥感图像的领域特定表征，但缺乏与通用模型的直接对比，其优势并不明确。此外，EO专用模型在跨场景泛化能力方面可能存在不足，限制了其应用范围。

核心思路：论文的核心思路是通过严格控制实验条件，直接比较EO专用模型和通用模型在遥感图像检索任务中的性能。通过使用相同的数据集、检索协议和评估指标，客观评估两种类型模型在领域内和跨场景下的表现。这有助于确定EO预训练是否真正能带来更强的检索性能，并揭示现有EO专用模型的局限性。

技术框架：论文采用标准的图像检索流程。首先，使用预训练的视觉基础模型（包括EO专用模型和通用模型）提取遥感图像的特征向量。然后，使用这些特征向量在检索集中进行相似性搜索，找到与查询图像最相似的图像。最后，根据检索结果的准确性评估模型的性能。评估指标包括领域内检索准确率和跨场景泛化能力。

关键创新：论文的关键创新在于对EO专用模型和通用模型进行了严格的受控比较，揭示了现有EO专用模型在检索性能和跨场景泛化能力方面的不足。研究结果表明，仅靠EO预训练并不能保证更强的遥感图像检索性能，通用模型在某些情况下甚至优于专用模型。

关键设计：论文的关键设计包括：1) 选择具有代表性的EO专用模型和通用模型进行比较；2) 使用相同的数据集、检索协议和评估指标，确保实验的公平性；3) 同时评估领域内性能和跨场景泛化能力，全面评估模型的有效性；4) 分析EO专用模型性能下降的原因，并提出改进方向。

📊 实验亮点

实验结果表明，强大的通用视觉基础模型在遥感图像检索任务中与现有的EO专用模型具有竞争力，在某些情况下甚至优于后者。此外，EO专用模型在跨场景评估中经常出现显著的性能下降，而通用模型表现出更稳定的迁移能力。这表明仅靠EO预训练并不能保证更强的面向检索的遥感表征。

🎯 应用场景

该研究成果对遥感图像处理领域具有重要意义，可应用于国土资源调查、环境监测、灾害评估等领域。通过选择合适的视觉基础模型，可以提高遥感图像检索的准确性和效率，为相关应用提供更可靠的数据支持。未来的研究可以进一步探索如何结合EO专用知识和通用视觉模型，构建更强大的遥感图像表征模型。

📄 摘要（原文）

Vision foundation models have attracted significant attention for their ability to leverage large-scale unlabeled visual data. This advantage is particularly important in remote sensing, where data acquisition is costly and annotation often requires expert knowledge. Recent electro-optical vision foundation models aim to learn domain-specific representations from remote sensing imagery, but it remains unclear whether they are more effective than strong generalist vision foundation models under retrieval-based evaluation. In this study, we conduct a controlled comparison between representative EO-specific and generalist vision foundation models for remote sensing image retrieval. Using the same datasets, retrieval protocol, and evaluation metric, we evaluate both in-domain performance and cross-scene generalization. Our results show that strong generalist vision foundation models are competitive with, and in some cases outperform, existing EO-specific models. Moreover, EO-specific models often suffer from substantial degradation under cross-scene evaluation, while generalist models show more stable transfer. These findings suggest that EO pretraining alone does not guarantee stronger retrieval-oriented remote sensing representations. We discuss the limitations of current EO-specific pretraining strategies and highlight the need for future EO vision foundation models to better exploit the physical, spatial, spectral, and geographic characteristics of remote sensing imagery.