AiSciVision: A Framework for Specializing Large Multimodal Models in Scientific Image Classification

📄 arXiv: 2410.21480v1 📥 PDF

作者: Brendan Hogan, Anmol Kabra, Felipe Siqueira Pacheco, Laura Greenstreet, Joshua Fan, Aaron Ferber, Marta Ummus, Alecsander Brito, Olivia Graham, Lillian Aoki, Drew Harvell, Alex Flecker, Carla Gomes

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2024-10-28

💡 一句话要点

AiSciVision：一个用于科学图像分类的大型多模态模型专业化框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 科学图像分类 可解释性AI 视觉检索增强生成 智能体工作流

📋 核心要点

  1. 现有AI模型在科学研究中应用时，透明度和可解释性不足，通常作为黑盒运行，缺乏输出结果的依据。
  2. AiSciVision框架通过视觉检索增强生成（VisRAG）和领域特定工具的智能体工作流，模仿专家分析流程，提升模型的可解释性。
  3. 实验表明，AiSciVision在水产养殖池塘、患病鳗草和太阳能电池板检测等任务上，优于全监督模型，并在实际应用中部署。

📝 摘要（中文）

本文介绍了一个名为AiSciVision的框架，旨在将大型多模态模型（LMMs）专业化，使其成为交互式研究伙伴和特定科学领域图像分类模型。该框架包含两个关键组件：视觉检索增强生成（VisRAG）和领域特定工具的智能体工作流。AiSciVision首先检索与目标图像最相似的正负标签图像，作为LMM的上下文。然后，LMM智能体主动选择并应用工具，对目标图像进行多轮操作和检查，从而完善分析并做出最终预测。VisRAG和工具组件的设计旨在模仿领域专家的流程，专家通常会将新数据与类似示例进行比较，并使用专用工具来操作和检查图像，然后得出结论。每次推理都会生成预测以及自然语言记录，详细说明推理过程和工具使用情况。AiSciVision在三个真实世界的科学图像分类数据集上进行了评估：水产养殖池塘、患病鳗草和太阳能电池板的检测。在这些数据集中，该方法在低标记和全标记数据设置中均优于完全监督模型。AiSciVision已通过专用Web应用程序积极部署在实际应用中，特别是在水产养殖研究中，该应用程序显示并允许专家用户与记录进行对话。这项工作代表了朝着可解释且有效的AI系统迈出的关键一步，从而推动了它们在科学研究和科学发现中的应用。

🔬 方法详解

问题定义：论文旨在解决科学图像分类中，现有大型多模态模型（LMMs）缺乏透明度和可解释性的问题。这些模型通常作为黑盒运行，难以提供其预测结果的依据，限制了其在科学研究中的应用。现有方法难以有效利用领域知识和专家经验，导致在特定科学领域的图像分类任务中表现不佳。

核心思路：论文的核心思路是通过模仿领域专家的图像分析流程，增强LMM的可解释性和性能。专家在分析图像时，通常会将新图像与已知的相似图像进行比较，并使用专业工具进行操作和检查。AiSciVision框架通过视觉检索增强生成（VisRAG）和领域特定工具的智能体工作流，模拟了这一过程。

技术框架：AiSciVision框架包含两个主要组件：1) 视觉检索增强生成（VisRAG）：首先，从数据库中检索与目标图像最相似的正负标签图像，作为LMM的上下文信息。这些检索到的图像可以帮助LMM更好地理解目标图像的特征和类别。2) 领域特定工具的智能体工作流：LMM作为一个智能体，可以主动选择和应用领域特定的工具来操作和检查目标图像。这个过程是迭代的，LMM会根据工具的输出结果，不断调整其分析策略，直到做出最终预测。整个流程会生成自然语言记录，详细说明推理过程和工具使用情况。

关键创新：AiSciVision的关键创新在于将视觉检索增强生成（VisRAG）和领域特定工具的智能体工作流相结合，从而增强了LMM的可解释性和性能。与传统的LMM相比，AiSciVision能够提供更清晰的推理过程和更可靠的预测结果。此外，该框架的设计模仿了领域专家的图像分析流程，使其更易于被科学家接受和使用。

关键设计：在VisRAG模块中，需要选择合适的相似性度量方法来检索与目标图像最相似的图像。在智能体工作流中，需要设计合适的工具集，并训练LMM如何有效地使用这些工具。此外，还需要设计合适的奖励函数，以鼓励LMM选择正确的工具和做出准确的预测。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

AiSciVision在三个真实世界的科学图像分类数据集上进行了评估，包括水产养殖池塘、患病鳗草和太阳能电池板的检测。实验结果表明，该方法在低标记和全标记数据设置中均优于完全监督模型。具体性能数据和提升幅度在摘要中未给出，属于未知信息。

🎯 应用场景

AiSciVision框架可应用于各种科学图像分类任务，例如疾病检测、环境监测和资源管理。通过提供可解释的预测结果和详细的推理过程，该框架可以帮助科学家更好地理解数据，并做出更明智的决策。该框架已在水产养殖研究中得到实际应用，未来有望在更多科学领域发挥重要作用。

📄 摘要（原文）

Trust and interpretability are crucial for the use of Artificial Intelligence (AI) in scientific research, but current models often operate as black boxes offering limited transparency and justifications for their outputs. We introduce AiSciVision, a framework that specializes Large Multimodal Models (LMMs) into interactive research partners and classification models for image classification tasks in niche scientific domains. Our framework uses two key components: (1) Visual Retrieval-Augmented Generation (VisRAG) and (2) domain-specific tools utilized in an agentic workflow. To classify a target image, AiSciVision first retrieves the most similar positive and negative labeled images as context for the LMM. Then the LMM agent actively selects and applies tools to manipulate and inspect the target image over multiple rounds, refining its analysis before making a final prediction. These VisRAG and tooling components are designed to mirror the processes of domain experts, as humans often compare new data to similar examples and use specialized tools to manipulate and inspect images before arriving at a conclusion. Each inference produces both a prediction and a natural language transcript detailing the reasoning and tool usage that led to the prediction. We evaluate AiSciVision on three real-world scientific image classification datasets: detecting the presence of aquaculture ponds, diseased eelgrass, and solar panels. Across these datasets, our method outperforms fully supervised models in low and full-labeled data settings. AiSciVision is actively deployed in real-world use, specifically for aquaculture research, through a dedicated web application that displays and allows the expert users to converse with the transcripts. This work represents a crucial step toward AI systems that are both interpretable and effective, advancing their use in scientific research and scientific discovery.