RPC-GS: Gaussian Splatting with native RPC Rendering for Satellite Imagery
作者: Valentin Wagner, Sebastian Bullinger, Christoph Bodensteiner, Michael Arens
分类: cs.CV
发布日期: 2026-06-04
💡 一句话要点
提出RPC-GS框架以解决卫星影像高精度重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯喷溅 卫星影像 有理多项式相机 几何重建 遥感技术 深度学习 图像处理
📋 核心要点
- 现有卫星影像高斯喷溅方法依赖于透视或仿射相机模型，导致重建时几何误差。
- RPC-GS框架通过直接使用RPC模型进行高斯均值和协方差的投影，避免了近似带来的误差。
- 在多个卫星基准数据集上，RPC-GS显著降低了重建误差，相较于其他模型提升幅度达到63.8%。
📝 摘要（中文）
我们提出了RPC-GS，这是第一个针对卫星影像的高斯喷溅框架，能够原生支持有理多项式相机（RPC）模型。RPC模型是现代推扫卫星传感器成像几何的标准表示。以往的卫星高斯喷溅方法通常用透视或仿射相机近似替代RPC模型，导致重建过程中的几何误差。RPC-GS通过在喷溅过程中直接通过RPC模型投影高斯均值和协方差，避免了这些近似。我们在一系列精心选择的地理坐标变换中嵌入RPC模型，以实现从适合喷溅的场景坐标到图像坐标的映射。我们还为（部分非线性）坐标变换推导了数值稳健的雅可比协方差投影。实验表明，RPC渲染器在多个卫星基准数据集上表现优异，显著降低了重建误差。
🔬 方法详解
问题定义：本论文旨在解决卫星影像重建中的几何误差问题，现有方法通过近似模型导致重建精度不足。
核心思路：RPC-GS框架的核心思路是直接利用RPC模型进行高斯均值和协方差的投影，避免了传统方法的几何近似，从而提高重建精度。
技术框架：该框架包括多个模块，首先是地理坐标变换，将场景坐标映射到图像坐标；其次是高斯喷溅过程，直接通过RPC模型进行投影；最后是基于雅可比的协方差投影，确保数值稳健性。
关键创新：本研究的关键创新在于首次将RPC模型原生嵌入高斯喷溅框架中，避免了传统方法的几何误差，显著提升了重建精度。
关键设计：在设计中，我们采用了数值稳健的雅可比协方差投影方法，并集成了基于度量光线的深度公式，以克服RPC模型缺乏深度信息的限制。实验中，我们对比了RPC、透视和仿射相机模型，验证了RPC-GS的优越性。
🖼️ 关键图片
📊 实验亮点
在实验中，RPC-GS框架在DFC2019数据集上相较于透视和仿射模型分别降低了29.6%和63.8%的平均高度误差，在IARPA2016数据集上也实现了9.9%和37.9%的提升，显示出其在卫星影像重建中的显著优势。
🎯 应用场景
RPC-GS框架在卫星影像处理领域具有广泛的应用潜力，能够提高遥感数据的重建精度，支持环境监测、城市规划和灾害评估等实际应用。未来，该技术可能推动更高精度的卫星成像系统的发展，促进相关领域的研究与应用。
📄 摘要（原文）
We present RPC-GS, the first Gaussian Splatting framework for satellite imagery that operates natively with Rational Polynomial Camera (RPC) models. The RPC model is the de facto standard for representing the complex imaging geometry of modern pushbroom satellite sensors. To simplify rendering, prior satellite Gaussian Splatting methods replace the RPC model with perspective or affine camera approximations, leading to geometric errors during reconstruction. RPC-GS avoids these approximations by projecting Gaussian means and covariances directly through the RPC model during the splatting process. We embed the RPC model in a chain of carefully selected geo-coordinate transformations representing a mapping from splatting-suitable scene coordinates to image coordinates. To map the Gaussian covariance matrices, we derive a numerically robust Jacobian-based covariance projection for the (partially nonlinear) coordinate transformations. Since RPCs lack an explicit notion of camera depth, we integrate a metric ray-based depth formulation. We benchmark RPC, perspective, and affine camera models in a unified framework, with our native RPC renderer consistently achieving the lowest reconstruction error on leading satellite benchmark datasets, improving mean altitude error over perspective and affine approximations by 29.6% and 63.8% on DFC2019, and by 9.9% and 37.9% on IARPA2016. We release our code to support future research of Gaussian Splatting in the satellite imaging domain.