MicroVQA: A Multimodal Reasoning Benchmark for Microscopy-Based Scientific Research

📄 arXiv: 2503.13399v1 📥 PDF

作者: James Burgess, Jeffrey J Nirschl, Laura Bravo-Sánchez, Alejandro Lozano, Sanket Rajan Gupte, Jesus G. Galaz-Montoya, Yuhui Zhang, Yuchang Su, Disha Bhowmik, Zachary Coman, Sarina M. Hasan, Alexandra Johannesson, William D. Leineweber, Malvika G Nair, Ridhi Yarlagadda, Connor Zuraski, Wah Chiu, Sarah Cohen, Jan N. Hansen, Manuel D Leonetti, Chad Liu, Emma Lundberg, Serena Yeung-Levy

分类: cs.CV, cs.AI, cs.CL, cs.LG, q-bio.CB

发布日期: 2025-03-17

备注: CVPR 2025 (Conference on Computer Vision and Pattern Recognition) Project page at https://jmhb0.github.io/microvqa Benchmark at https://huggingface.co/datasets/jmhb/microvqa

🔗 代码/项目: HUGGINGFACE | PROJECT_PAGE

💡 一句话要点

提出MicroVQA：一个用于评估显微镜图像多模态推理能力的基准数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 多模态推理 显微镜图像 生物医学研究 基准数据集

📋 核心要点

  1. 现有VQA基准难以评估生物学研究中复杂的多模态推理能力，缺乏针对显微镜图像的专业数据集。
  2. MicroVQA通过生物学专家构建高质量的多项选择题，并使用RefineBot消除语言捷径，从而保证了基准的科学性和可靠性。
  3. 实验表明，现有MLLM在MicroVQA上的性能有限，感知错误是主要瓶颈，表明多模态推理仍面临挑战。

📝 摘要（中文）

科学研究需要在多模态数据上进行复杂的推理，这在生物学中尤为突出。尽管用于AI辅助研究的多模态大型语言模型(MLLM)取得了进展，但现有的多模态推理基准仅针对大学水平的难度，而研究级别的基准侧重于较低层次的感知，无法满足科学发现所需的复杂多模态推理。为了弥合这一差距，我们引入了MicroVQA，这是一个视觉问答(VQA)基准，旨在评估研究工作流程中至关重要的三种推理能力：专家图像理解、假设生成和实验方案设计。MicroVQA包含1,042个由生物学专家策划的多项选择题(MCQ)，涵盖不同的显微镜模态，确保VQA样本代表真实的科学实践。在构建基准时，我们发现标准MCQ生成方法会诱导语言捷径，因此提出了一个新的两阶段流程：优化的LLM提示将问题-答案对构建为MCQ；然后，基于代理的`RefineBot'更新它们以消除捷径。在最先进的MLLM上进行基准测试显示，峰值性能为53％；较小型LLM的模型仅略低于顶级模型，表明基于语言的推理不如多模态推理具有挑战性；使用科学文章进行调整可提高性能。对思维链响应的专家分析表明，感知错误是最常见的，其次是知识错误，然后是过度概括错误。这些见解突出了多模态科学推理中的挑战，表明MicroVQA是推动AI驱动的生物医学研究的宝贵资源。MicroVQA可在https://huggingface.co/datasets/jmhb/microvqa获得，项目页面位于https://jmhb0.github.io/microvqa。

🔬 方法详解

问题定义：论文旨在解决现有视觉问答（VQA）基准在评估生物医学研究中复杂多模态推理能力方面的不足。现有方法要么难度较低，要么侧重于低层次的感知，无法满足科研人员在显微镜图像分析、假设生成和实验设计等方面的需求。此外，标准的多项选择题生成方法容易引入语言捷径，导致模型可以通过简单的语言模式而非真正的视觉理解来回答问题。

核心思路：论文的核心思路是构建一个高质量、具有挑战性的VQA基准数据集MicroVQA，该数据集能够真实反映生物医学研究中的多模态推理过程。通过专家标注和自动化的捷径消除方法，确保数据集的科学性和可靠性。同时，利用该数据集对现有MLLM进行评估，并分析其在不同推理能力上的表现，从而为未来的模型改进提供指导。

技术框架：MicroVQA的构建流程主要包括以下几个阶段：1) 数据收集：从不同的显微镜模态中收集图像数据，涵盖多种生物学研究场景。2) 问题生成：由生物学专家设计问题，涵盖专家图像理解、假设生成和实验方案设计三个方面。3) 答案生成：为每个问题生成正确答案和干扰项。4) 捷径消除：使用RefineBot对多项选择题进行优化，消除语言捷径。5) 基准测试：使用MicroVQA对现有MLLM进行评估，并分析其性能。

关键创新：论文的关键创新在于：1) 提出了一个针对显微镜图像多模态推理的VQA基准数据集MicroVQA，填补了现有基准在生物医学研究领域的空白。2) 设计了一个两阶段的多项选择题生成流程，包括基于LLM的提示和基于代理的RefineBot，有效消除了语言捷径，提高了数据集的质量。3) 对现有MLLM在MicroVQA上的性能进行了深入分析，揭示了模型在感知、知识和泛化等方面的不足。

关键设计：在多项选择题生成阶段，论文使用了优化的LLM提示，以结构化的方式生成问题-答案对。RefineBot通过模拟智能体的行为，对多项选择题进行迭代更新，以消除语言捷径。具体的参数设置和网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MicroVQA基准测试中，现有最先进的MLLM的峰值性能仅为53%，表明模型在处理复杂的显微镜图像多模态推理任务时仍面临挑战。专家分析表明，感知错误是最常见的错误类型，其次是知识错误和过度泛化错误。使用科学文章进行微调可以提高模型性能，但提升幅度有限。

🎯 应用场景

MicroVQA可用于训练和评估AI模型在生物医学研究中的应用，例如辅助显微镜图像分析、加速科学发现、辅助药物研发等。通过提高AI模型的多模态推理能力，可以帮助科研人员更高效地理解复杂的生物学现象，并提出新的研究假设。

📄 摘要（原文）

Scientific research demands sophisticated reasoning over multimodal data, a challenge especially prevalent in biology. Despite recent advances in multimodal large language models (MLLMs) for AI-assisted research, existing multimodal reasoning benchmarks only target up to college-level difficulty, while research-level benchmarks emphasize lower-level perception, falling short of the complex multimodal reasoning needed for scientific discovery. To bridge this gap, we introduce MicroVQA, a visual-question answering (VQA) benchmark designed to assess three reasoning capabilities vital in research workflows: expert image understanding, hypothesis generation, and experiment proposal. MicroVQA consists of 1,042 multiple-choice questions (MCQs) curated by biology experts across diverse microscopy modalities, ensuring VQA samples represent real scientific practice. In constructing the benchmark, we find that standard MCQ generation methods induce language shortcuts, motivating a new two-stage pipeline: an optimized LLM prompt structures question-answer pairs into MCQs; then, an agent-based `RefineBot' updates them to remove shortcuts. Benchmarking on state-of-the-art MLLMs reveal a peak performance of 53\%; models with smaller LLMs only slightly underperform top models, suggesting that language-based reasoning is less challenging than multimodal reasoning; and tuning with scientific articles enhances performance. Expert analysis of chain-of-thought responses shows that perception errors are the most frequent, followed by knowledge errors and then overgeneralization errors. These insights highlight the challenges in multimodal scientific reasoning, showing MicroVQA is a valuable resource advancing AI-driven biomedical research. MicroVQA is available at https://huggingface.co/datasets/jmhb/microvqa, and project page at https://jmhb0.github.io/microvqa.