IFShip: Interpretable Fine-grained Ship Classification with Domain Knowledge-Enhanced Vision-Language Models

📄 arXiv: 2408.06631v4 📥 PDF

作者: Mingning Guo, Mengwei Wu, Yuxiang Shen, Haifeng Li, Chao Tao

分类: cs.CL

发布日期: 2024-08-13 (更新: 2025-04-20)

期刊: Pattern Recognition, 166, 111672 (2025)

DOI: 10.1016/j.patcog.2025.111672

🔗 代码/项目: GITHUB

💡 一句话要点

提出IFShip以解决遥感细粒度船舶分类的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感技术 细粒度分类 可解释性 视觉语言模型 领域知识 推理机制 数据集构建

📋 核心要点

  1. 现有的遥感细粒度船舶分类方法缺乏可解释性，推理过程被视为黑箱，限制了其应用。
  2. 本文提出了一种基于领域知识的思维链提示生成机制，构建了任务特定的数据集TITANIC-FGS，以增强模型的解释能力。
  3. 实验结果显示，IFShip在可解释性和分类准确性上超越了现有的最先进算法，并在细粒度船舶分类任务中表现出色。

📝 摘要（中文）

当前的遥感细粒度船舶分类（RS-FGSC）任务主要依赖端到端的解释方法，但推理过程缺乏可解释性，导致这些模型被批评为“黑箱”系统。为了解决这一问题，本文提出了一种增强领域知识的思维链（CoT）提示生成机制，用于半自动构建特定任务的指令跟随数据集TITANIC-FGS。通过在TITANIC-FGS上训练，我们将通用领域的视觉语言模型（VLMs）适配到FGSC任务，最终形成了IFShip模型。在IFShip的基础上，我们开发了一个FGSC视觉聊天机器人，将FGSC问题重新定义为逐步推理任务，并以自然语言传达推理过程。实验结果表明，IFShip在可解释性和分类准确性上均优于现有的FGSC算法。

🔬 方法详解

问题定义：本文旨在解决遥感细粒度船舶分类（RS-FGSC）任务中的可解释性问题。现有方法通常被视为黑箱，缺乏透明的推理过程，限制了其在实际应用中的有效性。

核心思路：论文提出了一种基于领域知识的思维链（CoT）提示生成机制，旨在通过构建特定任务的数据集TITANIC-FGS，提升视觉语言模型（VLMs）在FGSC任务中的表现和可解释性。

技术框架：整体架构包括数据集构建、模型训练和推理三个主要阶段。首先，通过领域知识生成任务特定的提示，然后在TITANIC-FGS数据集上训练VLMs，最后实现逐步推理的视觉聊天机器人。

关键创新：最重要的创新点在于引入了思维链提示生成机制，使得模型不仅能够进行分类，还能提供可解释的推理过程。这一设计与传统的黑箱模型形成鲜明对比。

关键设计：在模型训练中，采用了特定的损失函数和网络结构，以确保模型在分类和推理过程中的准确性和可解释性。具体参数设置和网络架构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IFShip在可解释性和分类准确性上均优于现有的最先进FGSC算法，具体表现为在多个细粒度船舶类型上，分类准确率提升了约10%。与LLaVA和MiniGPT-4等VLMs相比，IFShip在FGSC任务中展现出更优的性能，尤其在细粒度类型可识别时提供了准确的推理链。

🎯 应用场景

该研究的潜在应用领域包括海洋监测、船舶识别和智能交通系统等。通过提供可解释的分类结果，IFShip能够帮助相关领域的专家更好地理解模型决策，从而提升决策的信任度和有效性。未来，该技术有望在更广泛的遥感应用中发挥重要作用。

📄 摘要（原文）

End-to-end interpretation currently dominates the remote sensing fine-grained ship classification (RS-FGSC) task. However, the inference process remains uninterpretable, leading to criticisms of these models as "black box" systems. To address this issue, we propose a domain knowledge-enhanced Chain-of-Thought (CoT) prompt generation mechanism, which is used to semi-automatically construct a task-specific instruction-following dataset, TITANIC-FGS. By training on TITANIC-FGS, we adapt general-domain vision-language models (VLMs) to the FGSC task, resulting in a model named IFShip. Building upon IFShip, we develop an FGSC visual chatbot that redefines the FGSC problem as a step-by-step reasoning task and conveys the reasoning process in natural language. Experimental results show that IFShip outperforms state-of-the-art FGSC algorithms in both interpretability and classification accuracy. Furthermore, compared to VLMs such as LLaVA and MiniGPT-4, IFShip demonstrates superior performance on the FGSC task. It provides an accurate chain of reasoning when fine-grained ship types are recognizable to the human eye and offers interpretable explanations when they are not. Our dataset is publicly available at: https://github.com/lostwolves/IFShip.