F-ViTA: Foundation Model Guided Visible to Thermal Translation

📄 arXiv: 2504.02801v1 📥 PDF

作者: Jay N. Paranjape, Celso de Melo, Vishal M. Patel

分类: cs.CV

发布日期: 2025-04-03

🔗 代码/项目: GITHUB

💡 一句话要点

提出F-ViTA，利用基础模型引导可见光到热成像的转换，提升低光照场景理解能力。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可见光到热成像 扩散模型 基础模型 零样本学习 红外图像 场景理解 图像转换

📋 核心要点

  1. 现有可见光到热成像转换方法依赖GAN或Diffusion模型，但受限于数据量，难以学习模态分布转移和物理原理。
  2. F-ViTA利用基础模型（SAM, Grounded DINO）的零样本能力，提供掩码和标签，引导扩散模型学习对象与热特征的关联。
  3. 实验表明，F-ViTA在多个数据集上超越SOTA方法，并具备良好的分布外泛化能力，支持多种红外波段转换。

📝 摘要（中文）

热成像对于场景理解至关重要，尤其是在低光照和夜间条件下。然而，由于红外图像采集需要专用设备，收集大型热数据集的成本高昂且费力。为了解决这个问题，研究人员探索了可见光到热图像的转换。大多数现有方法依赖于生成对抗网络（GANs）或扩散模型（DMs），将该任务视为风格迁移问题。因此，这些方法试图从有限的训练数据中学习模态分布的转移和潜在的物理原理。在本文中，我们提出了F-ViTA，一种新颖的方法，它利用基础模型中嵌入的通用世界知识来指导扩散过程，从而改进转换效果。具体来说，我们使用来自SAM和Grounded DINO等基础模型的零样本掩码和标签来调节InstructPix2Pix扩散模型。这使得模型能够学习场景对象与其在红外图像中的热特征之间的有意义的关联。在五个公共数据集上的大量实验表明，F-ViTA优于最先进（SOTA）的方法。此外，我们的模型可以很好地推广到分布外（OOD）场景，并且可以从同一可见图像生成长波红外（LWIR）、中波红外（MWIR）和近红外（NIR）转换。

🔬 方法详解

问题定义：论文旨在解决可见光图像到热成像图像转换的问题。现有方法，如基于GANs或DMs的方法，通常将此任务视为风格迁移，需要从有限的数据中同时学习模态分布差异和潜在的物理规律。这导致模型泛化能力不足，尤其是在分布外场景中表现不佳。

核心思路：F-ViTA的核心思路是利用预训练的基础模型（如SAM和Grounded DINO）所具备的通用世界知识，来指导扩散模型的学习过程。通过将基础模型提供的语义信息（如对象掩码和标签）作为条件，帮助扩散模型建立可见光图像中的对象与热成像图像中对应热特征之间的关联。这样可以减少对大量标注数据的依赖，并提高模型的泛化能力。

技术框架：F-ViTA的整体框架基于InstructPix2Pix扩散模型。首先，使用SAM和Grounded DINO等基础模型对可见光图像进行分割和对象检测，生成零样本掩码和标签。然后，将这些掩码和标签作为条件输入到InstructPix2Pix扩散模型中，指导其生成对应的热成像图像。该框架允许模型在扩散过程中利用基础模型的先验知识，从而生成更准确、更逼真的热成像图像。

关键创新：F-ViTA的关键创新在于利用基础模型提供的语义信息来引导扩散过程。与传统的风格迁移方法不同，F-ViTA不是直接学习可见光图像和热成像图像之间的映射关系，而是通过基础模型提供的对象级别的语义信息，建立对象与其热特征之间的关联。这种方法可以更好地利用现有的知识，减少对大量标注数据的依赖，并提高模型的泛化能力。

关键设计：F-ViTA的关键设计包括：1) 使用SAM和Grounded DINO等基础模型提取零样本掩码和标签；2) 将这些掩码和标签作为条件输入到InstructPix2Pix扩散模型中；3) 使用标准的扩散模型训练流程，优化模型参数。论文中没有明确提及特定的损失函数或网络结构修改，而是侧重于利用基础模型提供的语义信息来指导扩散过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

F-ViTA在五个公共数据集上进行了广泛的实验，结果表明其性能优于SOTA方法。此外，该模型在分布外（OOD）场景中表现出良好的泛化能力，并且能够从同一可见光图像生成长波红外（LWIR）、中波红外（MWIR）和近红外（NIR）图像。这些结果表明，F-ViTA是一种有效且通用的可见光到热成像转换方法。

🎯 应用场景

F-ViTA在安防监控、自动驾驶、搜救行动等领域具有广泛的应用前景。在低光照或夜间条件下，热成像能够提供可见光图像无法提供的关键信息，例如检测隐藏的目标、识别行人等。F-ViTA能够将普通的可见光图像转换为热成像图像，从而扩展了现有视觉系统的应用范围，提高了其在复杂环境下的鲁棒性和可靠性。未来，该技术有望应用于智能交通、智能安防等领域。

📄 摘要（原文）

Thermal imaging is crucial for scene understanding, particularly in low-light and nighttime conditions. However, collecting large thermal datasets is costly and labor-intensive due to the specialized equipment required for infrared image capture. To address this challenge, researchers have explored visible-to-thermal image translation. Most existing methods rely on Generative Adversarial Networks (GANs) or Diffusion Models (DMs), treating the task as a style transfer problem. As a result, these approaches attempt to learn both the modality distribution shift and underlying physical principles from limited training data. In this paper, we propose F-ViTA, a novel approach that leverages the general world knowledge embedded in foundation models to guide the diffusion process for improved translation. Specifically, we condition an InstructPix2Pix Diffusion Model with zero-shot masks and labels from foundation models such as SAM and Grounded DINO. This allows the model to learn meaningful correlations between scene objects and their thermal signatures in infrared imagery. Extensive experiments on five public datasets demonstrate that F-ViTA outperforms state-of-the-art (SOTA) methods. Furthermore, our model generalizes well to out-of-distribution (OOD) scenarios and can generate Long-Wave Infrared (LWIR), Mid-Wave Infrared (MWIR), and Near-Infrared (NIR) translations from the same visible image. Code: https://github.com/JayParanjape/F-ViTA/tree/master.