Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis
作者: Qian Chen, Shihao Shu, Xiangzhi Bai
分类: cs.CV, cs.GR
发布日期: 2024-09-12
备注: 17 pages, 4 figures, 3 tables
期刊: ECCV2024
🔗 代码/项目: GITHUB
💡 一句话要点
Thermal3D-GS：利用物理先验的三维高斯模型，用于热红外新视角合成
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 热红外成像 新视角合成 三维高斯溅射 物理先验 大气传输 热传导 温度一致性 神经网络
📋 核心要点
- 热红外新视角合成面临大气传输和热传导影响，导致重建细节缺失，合成图像存在漂浮物和边缘模糊。
- Thermal3D-GS利用神经网络建模大气传输和热传导，并引入温度一致性约束，提升热红外图像重建精度。
- TI-NSD数据集包含20个真实场景，实验表明Thermal3D-GS在PSNR上优于基线方法3.03dB，有效改善了漂浮物和边缘模糊问题。
📝 摘要（中文）
本文提出了一种基于物理先验的三维高斯溅射方法Thermal3D-GS，用于热红外新视角合成。与可见光成像相比，热红外成像具有全天候成像和强穿透性的优势，为夜间和恶劣天气场景下的重建提供了更多可能性。然而，热红外成像受到大气传输效应和热传导等物理特性的影响，阻碍了热红外场景中复杂细节的精确重建，导致合成图像中出现漂浮物和边缘特征不清晰等问题。Thermal3D-GS通过神经网络对三维介质中的大气传输效应和热传导进行建模。此外，将温度一致性约束纳入优化目标，以提高热红外图像的重建精度。为了验证该方法的有效性，创建了首个大规模热红外新视角合成基准数据集（TI-NSD），包含20个真实的热红外视频场景，涵盖室内、室外和无人机场景，共计6664帧热红外图像数据。实验结果表明，该方法优于基线方法，PSNR提高了3.03 dB，并显著解决了基线方法中存在的漂浮物和边缘特征不清晰的问题。
🔬 方法详解
问题定义：论文旨在解决热红外图像新视角合成中，由于大气传输效应和热传导等物理因素导致的重建精度问题。现有方法难以准确捕捉热红外场景的复杂细节，导致合成图像中出现漂浮物和边缘模糊等伪影，影响了图像质量和真实感。
核心思路：论文的核心思路是将物理先验知识融入到三维高斯溅射（3D Gaussian Splatting）框架中。通过对大气传输效应和热传导进行建模，并结合温度一致性约束，引导模型学习更准确的热红外场景表示，从而提升新视角合成的质量。这样设计的目的是为了克服传统方法忽略物理因素，导致重建精度不足的缺陷。
技术框架：Thermal3D-GS的整体框架基于3D Gaussian Splatting。首先，利用多视角热红外图像作为输入，初始化三维高斯分布。然后，通过神经网络对大气传输效应和热传导进行建模，并将这些物理模型集成到渲染过程中。同时，引入温度一致性约束，确保合成图像的温度分布与真实场景一致。最后，通过优化三维高斯分布的参数，实现高质量的热红外新视角合成。
关键创新：该论文的关键创新在于将物理先验知识（大气传输和热传导）显式地融入到3D Gaussian Splatting框架中。与现有方法相比，Thermal3D-GS能够更好地理解热红外图像的形成过程，从而更准确地重建场景几何和辐射信息。此外，温度一致性约束的引入进一步提升了重建的准确性和真实感。
关键设计：大气传输效应和热传导的建模采用神经网络实现，具体结构未知。温度一致性约束通过计算合成图像和真实图像之间的温度差异来实现，并将其作为损失函数的一部分。三维高斯分布的参数包括位置、尺度、旋转和颜色（辐射强度），这些参数通过反向传播进行优化。具体的损失函数形式和网络结构细节在论文中可能有所描述，但此处未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Thermal3D-GS在TI-NSD数据集上取得了显著的性能提升，PSNR指标相比基线方法提高了3.03 dB。此外，视觉效果上，Thermal3D-GS能够有效解决基线方法中存在的漂浮物和边缘模糊问题，合成图像的细节更加清晰，真实感更强。这些结果验证了Thermal3D-GS在热红外新视角合成方面的有效性。
🎯 应用场景
该研究成果可应用于夜间监控、搜救行动、工业检测、自动驾驶等领域。热红外成像技术在全天候和恶劣天气条件下具有独特的优势，能够提供可见光成像无法获取的信息。Thermal3D-GS的出现，有望提升热红外图像的应用价值，为相关领域带来更可靠、更精确的感知能力。
📄 摘要（原文）
Novel-view synthesis based on visible light has been extensively studied. In comparison to visible light imaging, thermal infrared imaging offers the advantage of all-weather imaging and strong penetration, providing increased possibilities for reconstruction in nighttime and adverse weather scenarios. However, thermal infrared imaging is influenced by physical characteristics such as atmospheric transmission effects and thermal conduction, hindering the precise reconstruction of intricate details in thermal infrared scenes, manifesting as issues of floaters and indistinct edge features in synthesized images. To address these limitations, this paper introduces a physics-induced 3D Gaussian splatting method named Thermal3D-GS. Thermal3D-GS begins by modeling atmospheric transmission effects and thermal conduction in three-dimensional media using neural networks. Additionally, a temperature consistency constraint is incorporated into the optimization objective to enhance the reconstruction accuracy of thermal infrared images. Furthermore, to validate the effectiveness of our method, the first large-scale benchmark dataset for this field named Thermal Infrared Novel-view Synthesis Dataset (TI-NSD) is created. This dataset comprises 20 authentic thermal infrared video scenes, covering indoor, outdoor, and UAV(Unmanned Aerial Vehicle) scenarios, totaling 6,664 frames of thermal infrared image data. Based on this dataset, this paper experimentally verifies the effectiveness of Thermal3D-GS. The results indicate that our method outperforms the baseline method with a 3.03 dB improvement in PSNR and significantly addresses the issues of floaters and indistinct edge features present in the baseline method. Our dataset and codebase will be released in \href{https://github.com/mzzcdf/Thermal3DGS}{\textcolor{red}{Thermal3DGS}}.