Taxonomic Reasoning for Rare Arthropods: Combining Dense Image Captioning and RAG for Interpretable Classification

📄 arXiv: 2503.10886v1 📥 PDF

作者: Nathaniel Lesperance, Sujeevan Ratnasingham, Graham W. Taylor

分类: cs.CV, cs.AI, cs.IR, cs.LG, q-bio.PE

发布日期: 2025-03-13

备注: 12 pages, 3 figures

💡 一句话要点

结合图像描述与RAG，提升稀有节肢动物分类的准确性和可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 节肢动物分类 图像描述 检索增强生成 大型语言模型 生物多样性监测

📋 核心要点

  1. 传统深度学习方法在稀有物种分类中表现不佳，且缺乏对预测结果的解释能力，限制了其在生物多样性保护中的应用。
  2. 论文提出结合图像描述和RAG的分类方法，利用外部知识库增强LLM对稀有物种特征的理解，提高分类准确性和可解释性。
  3. 实验表明，RAG模型在稀有物种分类中优于传统VLM，降低了过度自信，尤其在科和属级别的分类中表现出显著优势。

📝 摘要（中文）

在气候变化和节肢动物生物多样性丧失的背景下，基于图像的自动分类成为研究热点。传统基于CNN或ViT的深度视觉架构在长尾类别上性能下降，且缺乏预测推理能力。本文结合图像描述和检索增强生成（RAG）与大型语言模型（LLM），以增强生物多样性监测，尤其是在表征稀有和未知节肢动物物种方面。简单的视觉-语言模型（VLM）擅长对常见物种进行分类，而RAG模型通过将分类特征的文本描述与外部生物多样性文本数据进行匹配，从而实现对稀有类群的分类。RAG模型在降低过度自信和提高准确性方面显示出潜力，表明其在捕获分类层次结构细微差别的可行性，尤其是在具有挑战性的科和属级别。研究结果强调了现代视觉-语言AI流水线支持生物多样性保护倡议的潜力，强调了全面数据管理以及与公民科学平台合作在改善物种识别、未知物种表征和最终为保护策略提供信息方面的作用。

🔬 方法详解

问题定义：论文旨在解决稀有节肢动物物种的自动分类问题。现有方法，如基于CNN或ViT的深度学习模型，在处理长尾分布的数据时性能显著下降，即对于常见物种分类效果好，但对稀有物种的分类准确率很低。此外，这些模型缺乏可解释性，难以理解其分类依据，限制了其在生物多样性保护中的应用。

核心思路：论文的核心思路是利用检索增强生成（RAG）方法，结合图像描述和大型语言模型（LLM），将视觉信息与外部知识库中的文本信息相结合。通过检索与图像相关的生物多样性文本数据，为LLM提供更丰富的上下文信息，从而提高对稀有物种的分类准确性和可解释性。这种方法能够弥补传统模型在数据稀缺情况下的不足。

技术框架：整体框架包含以下几个主要模块：1) 图像描述模块：使用Dense Image Captioning技术生成图像的文本描述，提取图像中的关键特征。2) 检索模块：利用图像描述作为查询，从外部生物多样性文本数据（如物种描述、分类学文献等）中检索相关信息。3) 生成模块：将图像描述和检索到的文本信息输入到大型语言模型（LLM）中，LLM基于这些信息进行分类预测，并给出分类依据。

关键创新：论文的关键创新在于将图像描述和RAG方法应用于稀有节肢动物的分类。传统的VLM模型直接将图像映射到类别标签，而该方法通过引入外部知识，增强了模型对稀有物种特征的理解能力。此外，RAG方法还提高了模型的可解释性，可以追溯分类结果的依据。

关键设计：在图像描述模块，使用了预训练的Dense Image Captioning模型，并针对节肢动物图像进行了微调。在检索模块，使用了基于向量相似度的检索方法，将图像描述和文本信息编码为向量，然后计算相似度进行检索。在生成模块，使用了预训练的LLM，并针对分类任务进行了微调。损失函数方面，使用了交叉熵损失函数，优化模型对分类结果的预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RAG模型在稀有节肢动物分类中优于传统的VLM模型，尤其是在科和属级别的分类中表现出显著优势。RAG模型降低了过度自信，提高了分类准确性，表明其能够更好地捕获分类层次结构的细微差别。这些结果验证了RAG方法在处理长尾数据和提高模型可解释性方面的有效性。

🎯 应用场景

该研究成果可应用于生物多样性监测、物种识别和保护等领域。通过结合公民科学平台的数据，可以构建更强大的物种识别系统，帮助研究人员和公众更好地了解和保护生物多样性。此外，该方法还可以扩展到其他领域，如医学图像分析、遥感图像解译等，具有广泛的应用前景。

📄 摘要（原文）

In the context of pressing climate change challenges and the significant biodiversity loss among arthropods, automated taxonomic classification from organismal images is a subject of intense research. However, traditional AI pipelines based on deep neural visual architectures such as CNNs or ViTs face limitations such as degraded performance on the long-tail of classes and the inability to reason about their predictions. We integrate image captioning and retrieval-augmented generation (RAG) with large language models (LLMs) to enhance biodiversity monitoring, showing particular promise for characterizing rare and unknown arthropod species. While a naive Vision-Language Model (VLM) excels in classifying images of common species, the RAG model enables classification of rarer taxa by matching explicit textual descriptions of taxonomic features to contextual biodiversity text data from external sources. The RAG model shows promise in reducing overconfidence and enhancing accuracy relative to naive LLMs, suggesting its viability in capturing the nuances of taxonomic hierarchy, particularly at the challenging family and genus levels. Our findings highlight the potential for modern vision-language AI pipelines to support biodiversity conservation initiatives, emphasizing the role of comprehensive data curation and collaboration with citizen science platforms to improve species identification, unknown species characterization and ultimately inform conservation strategies.