Thermoxels: a voxel-based method to generate simulation-ready 3D thermal models
作者: Etienne Chassaing, Florent Forest, Olga Fink, Malcolm Mielle
分类: cs.CV, eess.IV
发布日期: 2025-04-06
备注: 7 pages, 2 figures
💡 一句话要点
提出Thermoxels，一种基于体素的3D热模型生成方法，用于建筑节能改造。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 热建模 有限元分析 建筑节能 体素表示
📋 核心要点
- 现有建筑节能评估依赖定性热成像，缺乏数据驱动，而有限元分析依赖手动CAD建模，效率低且易出错。
- Thermoxels提出一种基于体素的方法，从稀疏RGB和热图像重建3D几何和温度信息，生成FEA兼容模型。
- 实验表明，Thermoxels能生成高质量RGB+热网格，并成功应用于热传导模拟，图像合成效果具有竞争力。
📝 摘要（中文）
在欧盟，建筑能耗占总能耗的42%，温室气体排放占35%。由于大部分现有建筑在2050年仍将被使用，因此建筑改造对于减少排放至关重要。然而，目前的建筑评估方法主要依赖于定性的热成像，这限制了数据驱动的节能决策。另一方面，使用有限元分析(FEA)的定量评估虽然能提供精确的洞察，但需要手动CAD设计，这既繁琐又容易出错。近年来，神经辐射场(NeRF)和高斯溅射等3D重建技术的进步，能够从稀疏图像中实现精确的3D建模，但缺乏明确定义的体积以及FEA所需的界面。我们提出Thermoxels，一种新颖的基于体素的方法，能够从一组稀疏的RGB和热图像中生成FEA兼容的模型，包括几何形状和温度。Thermoxels使用RGB和热图像对作为输入，将场景的几何形状表示为包含颜色和温度信息的体素集合。经过优化后，一个简单的过程将Thermoxels的模型转换为与FEA兼容的四面体网格。我们展示了Thermoxels生成3D场景的RGB+热网格的能力，超越了其他最先进的方法。为了展示Thermoxels模型的实际应用，我们使用FEA进行了一个简单的热传导模拟，从Thermoxels的热重建定义的初始状态实现了收敛。此外，我们将Thermoxels的图像合成能力与当前最先进的方法进行了比较，显示出具有竞争力的结果，并讨论了现有指标在评估网格质量方面的局限性。
🔬 方法详解
问题定义：现有建筑热性能评估方法存在局限性。定性热成像无法提供足够的数据支持节能决策，而基于有限元分析的定量评估需要耗时且容易出错的手动CAD建模。新兴的3D重建技术（如NeRF）虽然能从图像中重建3D模型，但缺乏明确的体积定义和界面信息，难以直接用于有限元分析。因此，亟需一种能够自动、高效地从图像中生成可用于有限元分析的建筑热模型的方法。
核心思路：Thermoxels的核心思路是将场景表示为一组带有颜色和温度信息的体素。通过优化体素的颜色和温度，使其与输入的RGB和热图像一致，从而实现场景的3D重建和热信息提取。重建后的体素模型可以通过简单的转换生成有限元分析所需的四面体网格。这种基于体素的方法避免了手动建模的繁琐，并提供了明确的体积定义和界面信息，使其能够直接用于有限元分析。
技术框架：Thermoxels的整体流程如下：1. 数据采集：使用RGB相机和热像仪采集场景的图像对。2. 体素初始化：将场景空间划分为规则的体素网格，并为每个体素初始化颜色和温度值。3. 优化：通过最小化渲染图像与输入图像之间的差异，优化体素的颜色和温度。4. 网格生成：将优化后的体素模型转换为四面体网格。5. 有限元分析：使用生成的网格进行热传导模拟。
关键创新：Thermoxels的关键创新在于提出了一种基于体素的RGB+热3D重建方法，能够直接生成可用于有限元分析的模型。与现有方法相比，Thermoxels无需手动建模，能够自动从图像中提取几何和热信息，并生成具有明确体积定义和界面信息的模型。此外，Thermoxels还提出了一种简单的体素到四面体网格的转换方法，使得生成的模型能够直接用于有限元分析。
关键设计：Thermoxels的关键设计包括：1. 体素表示：使用带有颜色和温度信息的体素来表示场景的几何和热信息。2. 渲染方程：使用可微分的渲染方程将体素的颜色和温度投影到图像平面上。3. 损失函数：使用RGB图像和热图像的重投影误差作为损失函数，优化体素的颜色和温度。4. 网格转换：使用简单的算法将体素模型转换为四面体网格。
🖼️ 关键图片
📊 实验亮点
Thermoxels在3D场景的RGB+热网格生成方面超越了现有方法。论文展示了使用Thermoxels生成的模型进行热传导模拟，并实现了收敛。此外，Thermoxels的图像合成能力与当前最先进的方法相比具有竞争力。论文还讨论了现有指标在评估网格质量方面的局限性，为未来的研究提供了方向。
🎯 应用场景
Thermoxels可应用于建筑节能改造领域，例如快速生成现有建筑的热模型，用于评估建筑的热性能和识别热桥。此外，该方法还可以用于城市规划、虚拟现实等领域，例如生成带有温度信息的3D城市模型，用于模拟城市的热环境。未来，Thermoxels可以与物联网传感器数据结合，实现建筑热性能的实时监测和预测。
📄 摘要（原文）
In the European Union, buildings account for 42% of energy use and 35% of greenhouse gas emissions. Since most existing buildings will still be in use by 2050, retrofitting is crucial for emissions reduction. However, current building assessment methods rely mainly on qualitative thermal imaging, which limits data-driven decisions for energy savings. On the other hand, quantitative assessments using finite element analysis (FEA) offer precise insights but require manual CAD design, which is tedious and error-prone. Recent advances in 3D reconstruction, such as Neural Radiance Fields (NeRF) and Gaussian Splatting, enable precise 3D modeling from sparse images but lack clearly defined volumes and the interfaces between them needed for FEA. We propose Thermoxels, a novel voxel-based method able to generate FEA-compatible models, including both geometry and temperature, from a sparse set of RGB and thermal images. Using pairs of RGB and thermal images as input, Thermoxels represents a scene's geometry as a set of voxels comprising color and temperature information. After optimization, a simple process is used to transform Thermoxels' models into tetrahedral meshes compatible with FEA. We demonstrate Thermoxels' capability to generate RGB+Thermal meshes of 3D scenes, surpassing other state-of-the-art methods. To showcase the practical applications of Thermoxels' models, we conduct a simple heat conduction simulation using FEA, achieving convergence from an initial state defined by Thermoxels' thermal reconstruction. Additionally, we compare Thermoxels' image synthesis abilities with current state-of-the-art methods, showing competitive results, and discuss the limitations of existing metrics in assessing mesh quality.