Cross-Architecture Foundation-Model Distillation for Edge Flood Segmentation
作者: Fabian Schmalstieg, Karsten Mueller, Wojciech Samek
分类: cs.CV, cs.LG
发布日期: 2026-09-17
备注: Main paper (17 pages) with supplementary material (11 pages). Submitted to IEEE JSTARS, Special Section on Generalist-Specialist Model Synergy for Remote Sensing: Theories, Methods, and Applications
💡 一句话要点
提出跨架构基础模型蒸馏以解决边缘洪水分割问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 洪水分割 模型蒸馏 边缘计算 地理空间分析 深度学习
📋 核心要点
- 现有的地理空间基础模型在洪水分割任务中表现优异，但其庞大的参数量限制了在边缘设备上的应用。
- 本文提出了一种蒸馏方法，将大型教师模型转化为小型学生模型，同时利用未标注数据扩展训练集，降低了模型的复杂性。
- 实验结果显示，教师监督的训练方法在多个基准测试中表现出色，学生模型的性能接近教师模型，且在边缘设备上运行效率高。
📝 摘要（中文）
地理空间基础模型在洪水分割中表现优异，但其庞大的模型规模限制了在内存受限的边缘硬件上的部署。本文将一个300百万参数的Prithvi-EO-2.0教师模型蒸馏为一个70万参数的EfficientViT-B0学生模型。教师模型不仅监督252个手动标注的Sen1Floods11训练场景，还利用额外的未标注Sentinel-2影像扩展学生训练集。实验结果表明，教师监督的训练在与直接训练相匹配的252场景预算下表现出竞争力，并在STURM-Flood性能上有所提升。通过将教师监督的训练集扩展至2500场景，学生模型在Sen1Floods11测试集上达到了0.787的水体交并比，接近教师模型的0.822，并在WorldFloods-v2上保持低于教师模型的表现。经过激活替换和量化感知训练后，学生模型在Jetson Xavier NX上以1.5MB的8位整数（INT8）TensorRT引擎运行，每512x512图像的GPU计算时间为5.57毫秒。固定的修正归一化水体指数（MNDWI）阈值在两个外部基准测试中与这两个模型表现相当，因此我们将这些基准视为泛化测试，而非学习模型优越性的证据。结果支持了基础模型监督可以将固定的手动标注预算放大为更大训练集并生成紧凑的可部署边缘模型的结论。
🔬 方法详解
问题定义：本文旨在解决地理空间基础模型在洪水分割任务中由于模型规模过大而无法在内存受限的边缘硬件上部署的问题。现有方法在处理大规模数据时，往往面临计算和存储的瓶颈。
核心思路：论文提出通过模型蒸馏技术，将一个大型教师模型转化为一个小型学生模型，同时利用未标注的图像数据扩展训练集，从而在保持性能的同时降低模型复杂性。
技术框架：整体架构包括教师模型和学生模型两个部分。教师模型负责监督学生模型的训练，学生模型则在教师模型的指导下学习。训练过程中，学生模型不仅使用手动标注的数据，还利用教师模型对未标注数据的预测结果进行训练。
关键创新：最重要的技术创新在于通过教师模型的监督，成功将固定的手动标注预算扩展为更大规模的训练集，并实现了小型模型在边缘设备上的高效运行。这种方法与传统的直接训练方法本质上不同，后者通常依赖于大量的手动标注数据。
关键设计：在模型设计上，学生模型采用了EfficientViT-B0架构，参数量仅为70万。训练过程中，使用了激活替换和量化感知训练技术，使得模型在Jetson Xavier NX上以1.5MB的INT8格式高效运行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，学生模型在Sen1Floods11测试集上达到了0.787的水体交并比，接近教师模型的0.822，并在STURM-Flood上表现出与教师模型相当的性能。此外，学生模型在边缘设备上以5.57毫秒的计算时间运行，展示了其高效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自然灾害监测、环境保护和城市规划等。通过在边缘设备上高效运行的小型模型，可以实现实时洪水监测和响应，提高应急管理的效率和准确性。未来，该方法还可扩展到其他地理空间分析任务中，具有广泛的实际价值。
📄 摘要（原文）
Geospatial foundation models can provide strong flood-segmentation performance, but their size limits deployment on memory-constrained edge hardware. We distill a 300-million-parameter Prithvi-EO-2.0 teacher, fine-tuned on the 252 manually labeled Sen1Floods11 training scenes, into a 0.7-million-parameter EfficientViT-B0 student. The teacher supervises additional unlabeled Sentinel-2 imagery, allowing the student training set to grow without new manual annotations. At the matched budget of 252 scenes, teacher-supervised training is competitive with direct training and improves STURM-Flood performance across tested configurations; a geometry-matched control shows that label source alone does not explain the difference. Scaling the teacher-supervised pool to 2,500 scenes narrows the remaining student--teacher gap: the float student reaches 0.787 water intersection over union on the Sen1Floods11 test split against 0.822 for the teacher, matches the teacher on STURM-Flood under our evaluation protocol, and remains below it on WorldFloods-v2. After activation replacement and quantization-aware training, the student runs as a 1.5-megabyte 8-bit integer (INT8) TensorRT engine on a Jetson Xavier NX at 5.57 milliseconds of graphics processing unit (GPU) compute per 512-by-512 image, with approximately 14 megabytes of runtime device memory. A fixed modified normalized difference water index (MNDWI) threshold is competitive with both models on the two clean external benchmarks, so we interpret those benchmarks as generalization tests rather than as evidence of learned-model superiority over a spectral rule. The results support the conclusion: foundation-model supervision can amplify a fixed manual annotation budget into a substantially larger training set and yield a compact, deployable edge model.