Reuse, Don't Retrain: Efficient, Modality-Versatile Geospatial Foundation Models through Feature Distillation

📄 arXiv: 2610.32566v1 📥 PDF

作者: Mario Hamon, Pierre Adorni, Minh-Tan Pham

分类: cs.CV

发布日期: 2026-10-23

💡 一句话要点

通过特征蒸馏提高地理基础模型的效率与多模态适应性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理基础模型 特征蒸馏 多模态融合 视觉变换器 遥感图像分析

📋 核心要点

  1. 现有的地理基础模型在不同骨干网络和传感器模态上重复预训练，导致资源浪费和高昂的成本。
  2. 本文提出通过特征蒸馏技术重用已有模型表示，减少预训练需求并提高模型效率。
  3. 实验结果显示，蒸馏后的模型在多个任务上显著超越同规模的基线模型，提升了模型的准确性和计算效率。

📝 摘要（中文）

地理基础模型（GeoFMs）在预训练过程中成本高昂，且模型家族通常在不同的骨干网络和传感器模态上重复这一过程。本文探讨了特征蒸馏作为更高效的重用现有表示的方法。首先，通过补丁级特征匹配将冻结的CROMA和TerraMind教师模型蒸馏为更小的视觉变换器。在九个PANGAEA任务中，蒸馏后的TerraMind Tiny、Small和Base分别比其同规模的发布模型提高了2.76、3.02和1.87的平均IoU分数；每个模型也匹配或超过了下一个更大发布模型。其次，提出了TEDI，一种无配对的多专家方法，结合了TerraMind用于多光谱图像和DINOv3用于高分辨率RGB。TEDI-Large在PANGAEA-9比较中实现了最高的单模型平均（62.51 mIoU），超越了所有教师模型，同时保留了它们的模态特定优势。

🔬 方法详解

问题定义：本文旨在解决地理基础模型在不同模态和规模上重复预训练带来的高成本和低效率问题。现有方法在资源利用上存在明显不足。

核心思路：通过特征蒸馏技术，将已有的高性能模型（如CROMA和TerraMind）中的知识转移到更小的视觉变换器中，从而实现高效重用，减少对新模型的预训练需求。

技术框架：整体架构包括两个主要部分：首先是特征蒸馏过程，通过补丁级特征匹配将教师模型的知识转移到学生模型；其次是TEDI框架，结合多专家模型处理不同模态输入，使用共享的Transformer主干。

关键创新：最重要的创新在于引入了无配对的多专家方法TEDI，能够在没有共注册数据的情况下处理多模态输入，显著提高了模型的灵活性和适应性。

关键设计：在蒸馏过程中，采用了补丁级特征匹配作为损失函数，确保学生模型能够有效学习教师模型的特征表示。同时，TEDI框架的设计允许不同模态的输入通过独立的补丁嵌入进入共享的Transformer主干，优化了模型的参数使用。

📊 实验亮点

实验结果表明，蒸馏后的TerraMind Tiny、Small和Base模型在PANGAEA任务中分别提高了2.76、3.02和1.87的平均IoU分数，且TEDI-Large模型在PANGAEA-9比较中达到了62.51 mIoU，超越了所有教师模型，同时TEDI-Base在参数量减少72%的情况下也达到了61.75 mIoU，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括遥感图像分析、环境监测和城市规划等。通过提高地理基础模型的效率和多模态适应性，能够在资源有限的情况下实现更高精度的地理信息处理，推动相关领域的发展。未来，该技术可能会影响更多领域的模型设计与应用，促进跨模态学习的进步。

📄 摘要（原文）

Geospatial foundation models (GeoFMs) are costly to pretrain, yet model families often repeat this process across backbone scales and sensing modalities. We investigate feature distillation as a more efficient way to reuse existing representations. First, we distill frozen CROMA and TerraMind teachers into smaller Vision Transformers through patch-level feature matching. Across nine PANGAEA tasks, distilled TerraMind Tiny, Small, and Base outperform their scale-matched released counterparts by 2.76, 3.02, and 1.87 mean IoU points, respectively; each also matches or exceeds the next-larger released model. Distilled CROMA-Base gains 2.05 points. TerraMind-Base required only 43 A6000 GPU-hours, approximately 0.5\% of the reported cost of independent pretraining. Second, we introduce TEDI, an unpaired multi-expert approach combining TerraMind for multispectral imagery and DINOv3 for high-resolution RGB. Separate patch embeddings route unpaired inputs into a shared Transformer trunk, removing the need for co-registered data. TEDI-Large achieves the highest single-model mean in our PANGAEA-9 comparison (62.51 mIoU), outperforming both teachers overall while retaining their modality-specific strengths. TEDI-Base reaches 61.75 mIoU with 72\% fewer parameters. These results show that distillation improves the GeoFM accuracy-compute frontier while consolidating complementary experts into a single versatile backbone.