TerraTorch: The Geospatial Foundation Models Toolkit
作者: Carlos Gomes, Benedikt Blumenstiel, Joao Lucas de Sousa Almeida, Pedro Henrique de Oliveira, Paolo Fraccaro, Francesc Marti Escofet, Daniela Szwarcman, Naomi Simumba, Romeo Kienzler, Bianca Zadrozny
分类: cs.CV, cs.LG
发布日期: 2025-03-26
备注: IGARSS 2025
🔗 代码/项目: GITHUB
💡 一句话要点
TerraTorch：用于地球空间基础模型的微调与基准测试工具包
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地球空间模型 遥感 气候数据 PyTorch Lightning 模型微调 基准测试 GEO-Bench
📋 核心要点
- 地球空间基础模型微调和基准测试需要专业知识和时间，现有工具难以兼顾易用性和灵活性。
- TerraTorch提供模块化框架，集成领域数据模块、预定义任务和模型工厂，简化模型微调流程。
- TerraTorch整合最佳实践和超参数优化，并与GEO-Bench集成，实现系统性基准测试，降低使用门槛。
📝 摘要（中文）
TerraTorch是一个地球空间基础模型的微调和基准测试工具包，构建于PyTorch Lightning之上，专为卫星、天气和气候数据设计。它集成了特定领域的数据模块、预定义的任务和一个模块化的模型工厂，可以将任何骨干网络与不同的解码器头配对。这些组件允许研究人员和从业者通过简单地编辑训练配置，以无代码的方式微调支持的模型。通过整合模型开发的最佳实践，并结合自动超参数优化扩展Iterate，TerraTorch降低了在新地球观测用例中微调或基准测试模型所需的专业知识和时间。此外，TerraTorch直接与GEO-Bench集成，从而可以对地球空间基础模型进行系统和可重复的基准测试。TerraTorch在Apache 2.0许可下开源，可在https://github.com/IBM/terratorch获得，并且可以通过pip install terratorch安装。
🔬 方法详解
问题定义：地球空间基础模型在特定任务上的微调和评估需要大量的专业知识和时间投入。现有的工具往往缺乏灵活性，难以适应不同的数据类型和任务需求，同时也缺乏系统性的基准测试框架，导致模型性能难以评估和比较。
核心思路：TerraTorch的核心思路是提供一个模块化、易于使用且可扩展的工具包，通过整合领域特定的数据模块、预定义任务和模型工厂，简化模型微调流程。同时，通过与GEO-Bench集成，实现对地球空间基础模型的系统性基准测试。
技术框架：TerraTorch基于PyTorch Lightning构建，包含以下主要模块：1) 数据模块：处理卫星、天气和气候等地球观测数据；2) 任务模块：定义预训练和微调任务；3) 模型工厂：允许用户选择不同的骨干网络和解码器头；4) 训练配置：通过简单的配置文件定义训练参数；5) Iterate：自动超参数优化扩展；6) GEO-Bench集成：实现基准测试。整体流程是从数据加载开始，经过模型构建、训练和评估，最终输出模型性能报告。
关键创新：TerraTorch的关键创新在于其模块化的设计和无代码微调能力。通过将数据处理、任务定义和模型构建解耦，用户可以轻松地定制自己的训练流程，而无需编写大量的代码。此外，与GEO-Bench的集成使得模型性能评估更加系统和可重复。
关键设计：TerraTorch的关键设计包括：1) 领域特定的数据模块，支持常见地球观测数据格式；2) 灵活的模型工厂，允许用户选择不同的骨干网络（如ResNet、ViT）和解码器头（如分割头、分类头）；3) 基于配置文件的训练流程，用户可以通过修改配置文件来调整训练参数，如学习率、批大小等；4) Iterate自动超参数优化，可以自动搜索最佳的超参数组合。
🖼️ 关键图片
📊 实验亮点
TerraTorch集成了GEO-Bench，允许对地球空间基础模型进行系统和可重复的基准测试。通过整合模型开发的最佳实践，并结合自动超参数优化扩展Iterate，TerraTorch降低了在新地球观测用例中微调或基准测试模型所需的专业知识和时间。
🎯 应用场景
TerraTorch可广泛应用于地球观测领域，例如土地覆盖分类、农作物监测、灾害预警、气候变化研究等。它降低了地球空间基础模型的使用门槛，加速了相关研究和应用的落地，并促进了地球观测数据的有效利用，具有重要的社会和经济价值。
📄 摘要（原文）
TerraTorch is a fine-tuning and benchmarking toolkit for Geospatial Foundation Models built on PyTorch Lightning and tailored for satellite, weather, and climate data. It integrates domain-specific data modules, pre-defined tasks, and a modular model factory that pairs any backbone with diverse decoder heads. These components allow researchers and practitioners to fine-tune supported models in a no-code fashion by simply editing a training configuration. By consolidating best practices for model development and incorporating the automated hyperparameter optimization extension Iterate, TerraTorch reduces the expertise and time required to fine-tune or benchmark models on new Earth Observation use cases. Furthermore, TerraTorch directly integrates with GEO-Bench, allowing for systematic and reproducible benchmarking of Geospatial Foundation Models. TerraTorch is open sourced under Apache 2.0, available at https://github.com/IBM/terratorch, and can be installed via pip install terratorch.