OmniVCBench: Benchmarking Evidence-Grounded Multimodal Reasoning Towards AI Virtual Cells
作者: Manyu Li, Xunkai Li, Yongfu Xiong, Yi Liu, Rong-Hua Li, Guoren Wang
分类: cs.AI, q-bio.QM
发布日期: 2026-09-29
备注: 45 pages, 16 figures;
💡 一句话要点
提出OmniVCBench以解决AIVC模型解释能力不足的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人工智能虚拟细胞 多模态推理 科学推理任务 模型评估 困难负样本挖掘
📋 核心要点
- 现有的AIVC基准主要集中在模拟层面，缺乏对模型解释实验证据和形成生物假设的评估。
- 论文提出OmniVCBench，包含6077对问题-答案对，旨在评估AIVC的解释能力。
- 实验结果显示，MCQ准确率与AIVC-Judge评分正相关，提供了开放响应评估的补充视角。
📝 摘要（中文）
人工智能虚拟细胞（AIVCs）被设想为模拟细胞反应、解释机制并支持假设驱动发现的科学代理。然而，现有的AIVC基准主要集中在模拟层面，缺乏对模型如何解释实验证据和形成生物假设的评估。为此，我们提出了OmniVCBench，这是一个以图形为中心、可追溯来源的基准，包含6077对来自科学文献的单图和多图问题-答案对。我们通过三项科学推理任务，基于布鲁姆分类法，构建了AIVC的解释层对应部分。此外，我们引入了AIVC-Judge，一个基于任务的MLLM评估框架，采用类别特定的参考意识评分标准来评估开放式响应。我们还提出了一种模型衍生的困难负样本挖掘策略，将模型推理中观察到的合理错误转化为多项选择题的干扰项，以降低评估成本。
🔬 方法详解
问题定义：本论文旨在解决现有AIVC基准在模型解释能力评估方面的不足，现有方法主要集中在模拟层面，缺乏对模型如何解释实验证据的深入评估。
核心思路：我们提出OmniVCBench，构建一个以图形为中心的基准，包含来自科学文献的单图和多图问题-答案对，以此来评估AIVC的解释能力。
技术框架：OmniVCBench的整体架构包括数据收集、问题-答案对的构建、以及基于布鲁姆分类法的科学推理任务设计。我们还引入了AIVC-Judge框架来评估开放式响应。
关键创新：最重要的创新点在于引入了AIVC-Judge评估框架和模型衍生的困难负样本挖掘策略，这与现有方法的评估方式有本质区别，提供了更全面的性能视角。
关键设计：在设计中，我们采用了类别特定的评分标准，并通过MDHNM策略将合理错误转化为多项选择题的干扰项，以降低评估成本。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在评估的异构模型池中，MCQ准确率与AIVC-Judge评分呈正相关，提供了开放响应评估的补充视角。这一发现强调了OmniVCBench在评估AIVC模型性能中的重要性。
🎯 应用场景
该研究的潜在应用领域包括生物医学研究、药物开发和细胞生物学等。通过提高AIVC的解释能力，研究人员可以更好地理解细胞反应机制，支持科学发现和假设验证，具有重要的实际价值和未来影响。
📄 摘要（原文）
Artificial Intelligence Virtual Cells (AIVCs) are envisioned as scientific agents that simulate cellular responses, explain underlying mechanisms, and support hypothesis-driven discovery. Existing AIVC benchmarks, however, operate primarily at the simulation layer, motivating complementary evaluation of how models interpret experimental evidence and formulate biological hypotheses. We introduce OmniVCBench, a figure-centric, source-traceable benchmark for the interpretation component of an AIVC. It contains 6,077 curated single- and multi-subfigure question--answer pairs derived from figures and experimental contexts in the scientific literature. Guided by Bloom's taxonomy, we instantiate interpretation-layer counterparts of the AIVC Predict--Explain--Discover agenda through three scientific reasoning tasks. We further introduce AIVC-Judge, a task-conditioned MLLM-as-a-judge framework with category-specific, reference-aware rubrics for evaluating open-ended responses. A complementary Model-Derived Hard-Negative Mining (MDHNM) strategy converts plausible errors observed during model inference into MCQ distractors for lower-cost evaluation. Within the evaluated heterogeneous model pool, MCQ accuracy correlates positively with AIVC-Judge scores, providing a complementary view of performance alongside open-response evaluation. Code and data demo are available at https://anonymous.4open.science/r/OmniVCBench.