A Latent Representation Learning Framework for Hyperspectral Image Emulation in Remote Sensing
作者: Chedly Ben Azizi, Claire Guilloteau, Gilles Roussel, Matthieu Puigt
分类: cs.CV, cs.LG, eess.IV
发布日期: 2026-03-23
💡 一句话要点
提出基于隐空间表征学习的高光谱图像仿真框架，加速遥感应用开发。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 高光谱图像仿真 隐空间表征学习 变分自编码器 遥感 辐射传输模型
📋 核心要点
- 传统辐射传输模型计算成本高，限制了高光谱图像仿真在遥感中的应用。
- 提出基于隐空间表征学习的框架，学习高光谱数据的生成表示，支持光谱和空间-光谱仿真。
- 实验表明，该方法在精度、保真度和鲁棒性方面优于传统方法，且仿真数据可用于下游任务。
📝 摘要（中文）
合成高光谱图像（HSI）生成对于大规模仿真、算法开发和任务设计至关重要，但传统的辐射传输模型计算成本高昂，且通常仅限于光谱层面的输出。本文提出了一种基于隐空间表征学习的高光谱仿真框架，该框架学习高光谱数据的隐式生成表示。该方法支持光谱层面和空间-光谱仿真，并且可以通过直接一步法或两步策略进行训练，后者将变分自编码器（VAE）预训练与参数到隐空间的插值相结合。在PROSAIL模拟的植被数据和Sentinel-3 OLCI图像上的实验表明，该方法在重建精度、光谱保真度和对真实世界空间变异性的鲁棒性方面优于经典的基于回归的仿真器。我们进一步表明，仿真的HSI在下游生物物理参数检索中保持了性能，突出了仿真数据在遥感应用中的实际意义。
🔬 方法详解
问题定义：高光谱图像仿真在遥感领域具有重要意义，例如算法开发、大规模模拟和任务设计。然而，传统的辐射传输模型（如PROSAIL）计算复杂度高，耗时较长，难以满足快速仿真的需求。此外，这些模型通常只能提供光谱层面的输出，难以生成具有空间信息的完整高光谱图像。因此，如何高效、准确地生成高光谱图像成为一个亟待解决的问题。
核心思路：本文的核心思路是利用深度学习技术，学习高光谱数据的隐空间表征，从而构建一个高效的仿真器。通过将高维的高光谱数据映射到低维的隐空间，可以大大降低计算复杂度。同时，通过在隐空间中进行插值等操作，可以生成新的高光谱数据，实现快速仿真。这种方法避免了直接求解复杂的辐射传输方程，从而提高了仿真效率。
技术框架：该框架主要包含两个阶段：预训练阶段和仿真阶段。在预训练阶段，使用变分自编码器（VAE）学习高光谱数据的隐空间表征。VAE将高光谱数据编码为隐向量，并从隐向量解码重构高光谱数据。通过最小化重构误差，VAE可以学习到高光谱数据的有效表示。在仿真阶段，首先将输入参数（如叶绿素含量、叶面积指数等）映射到隐空间中的一个点。然后，使用VAE的解码器将该隐向量解码为高光谱图像。此外，该框架还支持直接一步法训练，即直接学习输入参数到高光谱图像的映射。
关键创新：该方法最重要的创新点在于利用隐空间表征学习来加速高光谱图像仿真。与传统的辐射传输模型相比，该方法避免了求解复杂的物理方程，从而大大提高了仿真效率。此外，该方法还能够生成具有空间信息的高光谱图像，这对于许多遥感应用至关重要。该方法还提出了一种两步训练策略，将VAE预训练与参数到隐空间的插值相结合，进一步提高了仿真精度。
关键设计：在VAE的训练过程中，使用了均方误差（MSE）作为重构损失函数，以保证重建精度。为了保证隐空间的连续性，还使用了KL散度作为正则化项。在两步训练策略中，使用了径向基函数（RBF）插值将输入参数映射到隐空间。网络结构方面，编码器和解码器均采用了多层卷积神经网络，以提取高光谱数据的空间和光谱特征。具体参数设置（如卷积核大小、通道数等）根据数据集的特点进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在重建精度、光谱保真度和对真实世界空间变异性的鲁棒性方面均优于传统的基于回归的仿真器。在PROSAIL模拟的植被数据和Sentinel-3 OLCI图像上的实验中，该方法能够生成高质量的高光谱图像，并且在下游生物物理参数检索任务中保持了良好的性能。具体性能提升数据未知。
🎯 应用场景
该研究成果可广泛应用于遥感领域的算法开发、大规模场景模拟、传感器设计和任务规划。通过快速生成大量具有不同特征的高光谱图像，可以有效提升算法的训练效率和泛化能力。此外，该方法还可以用于生成特定场景下的高光谱图像，从而为传感器设计和任务规划提供参考。
📄 摘要（原文）
Synthetic hyperspectral image (HSI) generation is essential for large-scale simulation, algorithm development, and mission design, yet traditional radiative transfer models remain computationally expensive and often limited to spectrum-level outputs. In this work, we propose a latent representation-based framework for hyperspectral emulation that learns a latent generative representation of hyperspectral data. The proposed approach supports both spectrum-level and spatial-spectral emulation and can be trained either in a direct one-step formulation or in a two-step strategy that couples variational autoencoder (VAE) pretraining with parameter-to-latent interpolation. Experiments on PROSAIL-simulated vegetation data and Sentinel-3 OLCI imagery demonstrate that the method outperforms classical regression-based emulators in reconstruction accuracy, spectral fidelity, and robustness to real-world spatial variability. We further show that emulated HSIs preserve performance in downstream biophysical parameter retrieval, highlighting the practical relevance of emulated data for remote sensing applications.