HiT: History-Injection Transformers for Onboard Continuous Flood Change Detection
作者: Daniel Kyselica, Jonáš Herec, Oliver Kutis, Rado Pitoňák
分类: cs.CV, cs.LG
发布日期: 2026-01-20 (更新: 2026-01-21)
备注: 19 pages, 9 figures, submitted to conference
🔗 代码/项目: GITHUB
💡 一句话要点
提出历史注入Transformer（HiT），用于星载连续洪水变化检测，实现实时灾害评估。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 洪水检测 变化检测 星载计算 Transformer 历史注入
📋 核心要点
- 现有方法难以在资源受限的星载平台上进行连续卫星观测数据的实时洪水变化检测。
- 论文提出历史注入Transformer（HiT）模型，通过注入历史信息，在保证精度的前提下大幅降低存储需求。
- 实验表明，HiT模型在保持检测精度的同时，在Jetson Orin Nano上实现了43 FPS，满足星载实时性需求。
📝 摘要（中文）
本文提出了一种用于星载连续卫星观测自然灾害的解决方案，特别关注洪水检测这一关键应用。该方案旨在满足小型卫星的内存和计算限制。为此，我们设计了历史注入Transformer（HiT）模型，它通过维护先前观测的历史上下文，同时将数据存储量减少到原始图像大小的99%以上，从而实现高效的变化检测。在STTORM-CD洪水数据集上的测试表明，HiT机制在Prithvi-tiny基础模型中保持了与双时相基线相当的检测精度。HiT-Prithvi模型在Jetson Orin Nano（一种代表性的星载硬件）上实现了43 FPS。这项工作为基于卫星的自然灾害连续监测建立了一个实用的框架，支持实时灾害评估，而无需依赖地面处理基础设施。
🔬 方法详解
问题定义：现有洪水变化检测方法通常需要大量的存储空间和计算资源，难以部署在资源受限的星载平台上，无法实现连续、实时的灾害监测。尤其是在小型卫星上，存储和计算能力的限制使得传统的双时相分析方法难以有效应用。因此，如何在有限的资源下实现高精度的洪水变化检测是亟待解决的问题。
核心思路：论文的核心思路是通过引入历史信息，减少对原始图像数据的依赖。HiT模型通过维护一个压缩的历史状态，将先前观测的信息注入到当前的Transformer模型中，从而在不需要存储大量历史图像的情况下，也能进行有效的变化检测。这种方法旨在平衡精度和资源消耗，使得星载实时洪水监测成为可能。
技术框架：HiT模型基于Transformer架构，主要包含以下几个模块：1) 特征提取模块：用于提取当前时刻的图像特征。2) 历史注入模块：将压缩的历史状态注入到Transformer编码器中，增强模型对时序变化的感知能力。3) Transformer编码器：对融合了历史信息的特征进行编码，提取变化信息。4) 分类模块：对编码后的特征进行分类，判断是否存在洪水变化。整个流程是，输入当前图像和历史状态，输出变化检测结果，并更新历史状态。
关键创新：HiT模型的关键创新在于历史注入机制。与传统的双时相方法相比，HiT不需要存储大量的历史图像，而是通过一个压缩的历史状态来表示过去的信息。这种方法显著降低了存储需求，使得模型可以部署在资源受限的星载平台上。此外，HiT模型能够自适应地学习历史信息的权重，从而更好地利用过去的信息进行变化检测。
关键设计：HiT模型的关键设计包括：1) 历史状态的压缩方式：使用自编码器或类似方法对历史图像进行压缩，提取关键特征。2) 历史注入的方式：将压缩后的历史状态与当前图像的特征进行融合，例如通过注意力机制或拼接操作。3) 损失函数的设计：使用交叉熵损失函数或Dice损失函数来优化模型，提高检测精度。4) 模型大小的选择：选择Prithvi-tiny等轻量级Transformer模型作为基础模型，以满足星载平台的计算资源限制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HiT-Prithvi模型在STTORM-CD洪水数据集上保持了与双时相基线相当的检测精度，同时将数据存储量减少了99%以上。更重要的是，该模型在Jetson Orin Nano上实现了43 FPS，满足了星载实时处理的需求。这些结果验证了HiT模型在资源受限的星载平台上进行连续洪水变化检测的有效性。
🎯 应用场景
该研究成果可应用于自然灾害的实时监测与预警，尤其适用于洪水等突发性灾害。通过星载平台进行连续观测，可以及时发现灾情，为救援行动提供决策支持。此外，该技术还可扩展到其他类型的变化检测任务，如森林砍伐监测、城市扩张监测等，具有广泛的应用前景。
📄 摘要（原文）
Natural disaster monitoring through continuous satellite observation requires processing multi-temporal data under strict operational constraints. This paper addresses flood detection, a critical application for hazard management, by developing an onboard change detection system that operates within the memory and computational limits of small satellites. We propose History Injection mechanism for Transformer models (HiT), that maintains historical context from previous observations while reducing data storage by over 99\% of original image size. Moreover, testing on the STTORM-CD flood dataset confirms that the HiT mechanism within the Prithvi-tiny foundation model maintains detection accuracy compared to the bitemporal baseline. The proposed HiT-Prithvi model achieved 43 FPS on Jetson Orin Nano, a representative onboard hardware used in nanosats. This work establishes a practical framework for satellite-based continuous monitoring of natural disasters, supporting real-time hazard assessment without dependency on ground-based processing infrastructure. Architecture as well as model checkpoints is available at https://github.com/zaitra/HiT-change-detection