Do Tensorized Large-Scale Spatiotemporal Dynamic Atmospheric Data Exhibit Low-Rank Properties?

📄 arXiv: 2507.03289v1 📥 PDF

作者: Ryan Solgi, Seyedali Mousavinezhad, Hugo A. Loaiciga

分类: cs.LG, physics.ao-ph

发布日期: 2025-07-04

💡 一句话要点

利用低秩张量模型补全Sentinel-5P大气NO2时空数据缺失值

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 低秩张量模型 时空数据 缺失值重建 大气遥感 Sentinel-5P CP分解 交替最小二乘法 NO2监测

📋 核心要点

  1. 现有大气数据插补方法难以有效处理大规模时空数据中由云层遮蔽等因素造成的缺失。
  2. 提出基于CP分解的低秩张量模型(LRTM)，利用大气数据的低秩特性进行缺失值重建。
  3. 实验表明，LRTM能有效重建S5P-TN产品缺失值，尤其是在大范围云层遮蔽情况下，并能预测异常值。

📝 摘要（中文）

本研究首次探索了张量化的大尺度时空动态大气变量的低秩特性。研究对象为覆盖美国本土的四年Sentinel-5P对流层NO2产品(S5P-TN)。结果表明，对该动态变量进行低秩近似是可行的。通过采用基于CANDECOMP/PARAFAC (CP)分解和交替最小二乘法(ALS)的低秩张量模型(LRTM)，我们将S5P-TN数据的低秩特性应用于Sentinel-5P产品中的数据填补。此外，我们将LRTM的结果与使用地统计学的空间插值进行比较，并对S5P-TN产品进行全面的空间统计和时间分析。研究结果表明，当数据在扩展的空间和时间尺度上进行张量化时，张量补全能够成功地重建S5P-TN产品中的缺失值，特别是在存在大范围云层遮蔽的情况下，能够预测异常值并识别热点。

🔬 方法详解

问题定义：论文旨在解决Sentinel-5P对流层NO2产品(S5P-TN)中由于云层遮蔽等原因导致的数据缺失问题。现有空间插值方法难以有效处理大规模时空数据，尤其是在大范围云层遮蔽的情况下，插补精度会显著下降。

核心思路：论文的核心思路是利用大气变量在时空维度上的低秩特性。通过将时空数据张量化，并假设其具有低秩结构，可以使用低秩张量分解模型来恢复缺失的数据。这种方法能够捕捉数据中的全局相关性，从而更准确地进行插补。

技术框架：整体框架包括以下几个步骤：1) 数据预处理：对Sentinel-5P NO2数据进行清洗和格式化，构建时空张量。2) 低秩张量分解：采用CANDECOMP/PARAFAC (CP)分解对张量进行分解，得到一系列秩一张量。3) 缺失值重建：使用交替最小二乘法(ALS)迭代优化CP分解的因子矩阵，以最小化重建误差，从而填补缺失值。4) 结果评估：将LRTM的插补结果与地统计空间插值方法进行比较，并进行空间统计和时间分析。

关键创新：论文的关键创新在于首次将低秩张量模型应用于大规模时空大气数据的缺失值重建。与传统的空间插值方法相比，LRTM能够更好地捕捉时空相关性，尤其是在大范围云层遮蔽的情况下，能够更准确地恢复缺失的数据。此外，该方法能够预测异常值并识别热点区域。

关键设计：CP分解的秩(rank)是一个关键参数，需要根据数据的实际情况进行选择。ALS算法的迭代次数和收敛阈值也会影响重建效果。损失函数通常采用均方误差(MSE)，用于衡量重建值与真实值之间的差异。此外，论文还采用了空间统计和时间分析方法来评估重建结果的质量，例如计算重建值与真实值之间的相关系数和均方根误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于CP分解的低秩张量模型(LRTM)能够有效地重建Sentinel-5P NO2产品中的缺失值，尤其是在大范围云层遮蔽的情况下。与传统的空间插值方法相比，LRTM能够更准确地恢复缺失的数据，并能预测异常值和识别热点区域。具体的性能数据（如RMSE或相关系数）在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果可应用于大气环境监测、空气质量评估和气候变化研究等领域。通过对卫星遥感数据进行插补，可以提高数据质量，为相关研究提供更可靠的数据基础。此外，该方法还可以应用于其他时空数据的缺失值重建，例如交通流量数据、海洋环境数据等。

📄 摘要（原文）

In this study, we investigate for the first time the low-rank properties of a tensorized large-scale spatio-temporal dynamic atmospheric variable. We focus on the Sentinel-5P tropospheric NO2 product (S5P-TN) over a four-year period in an area that encompasses the contiguous United States (CONUS). Here, it is demonstrated that a low-rank approximation of such a dynamic variable is feasible. We apply the low-rank properties of the S5P-TN data to inpaint gaps in the Sentinel-5P product by adopting a low-rank tensor model (LRTM) based on the CANDECOMP / PARAFAC (CP) decomposition and alternating least squares (ALS). Furthermore, we evaluate the LRTM's results by comparing them with spatial interpolation using geostatistics, and conduct a comprehensive spatial statistical and temporal analysis of the S5P-TN product. The results of this study demonstrated that the tensor completion successfully reconstructs the missing values in the S5P-TN product, particularly in the presence of extended cloud obscuration, predicting outliers and identifying hotspots, when the data is tensorized over extended spatial and temporal scales.