BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering
作者: Shun Ye, Vinny Chandran Suja, Chenlong Li, Chongming Jiang, Reza Zamani, Xiang Li, Christopher Bain, Yuqi Zhou, Walker Peterson, Huidong Wang, Chenglang Hu, Jongchan Park, Xiao Cheng, Benjamin Swedlund, Sandra Murillo, Anjali Sivanandan, Shiyu Sun, Liang Lanfeng, Mohammad Tariqul Islam, Baju C. Joy, Ishaq N. Khan, Sreedhar S. Kumar, Gabriel Mercado-Vásquez, James V. Vizzard, Jonathan M. Matthews, Helen Huang, Xiaolu Guo, Ethan Nicklow, Guorui Chen, Ryan A. Neff, Surjendu Maity, Hyeonjin Park, Han-ho Joo, Katherine Dong, Yuyan Cai, Weihang Huang, Yichen Zou, Rui Yan, Raphael Figueroa, Artem Goncharov, Bella Rose Schremmer, Lian Elsa Linton, Keisuke Goda, Liang Gao, Ke Cheng, Leonardo Morsut, Jennifer L. Wilson, Jianping Fu, Lim Chwee Teck, Deblina Sarkar, Andreas Hierlemann, Savaş Tay, Alexander Hoffmann, Donald Richieri Griffin, Jun Chen, Shana O. Kelley, Shyni Varghese, Jinwoo Cheon, Wilbur A. Lam, James J. Moon, Wilson W. Wong, Samir Mitragotri, Dino Di Carlo
分类: cs.AI
发布日期: 2026-09-24
💡 一句话要点
提出BioEVAL基准以评估生物工程领域的语言与多模态模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生物工程 大型语言模型 多模态评估 实验推理 基准测试
📋 核心要点
- 现有大型语言模型的基准测试主要集中在事实回忆，缺乏对模型在复杂生物工程任务中的推理能力的评估。
- BioEVAL通过整合多机构的力量，设计了涵盖多个生物工程子领域的评估基准，旨在全面评估模型的实验推理能力。
- 实验结果表明，评估的模型在选择题上最高准确率达到90%，在文献综合和多模态推理任务中也表现出显著的性能差异。
📝 摘要（中文）
大型语言模型（LLMs）在生物医学科学中取得了显著进展，但现有的基准测试主要关注事实回忆，未能深入评估模型在前沿和多模态任务上的表现。为此，研究团队组建了BioEVAL（生物工程人工智能与LLMs验证），这是一个全球多机构的倡议，旨在评估生物工程各子领域的实验推理能力。BioEVAL涵盖11个主要的生物工程子领域，包含608个评估项目，包括380道选择题、218个文献综合任务和10个多模态问题。经过专家审查和质量控制，评估结果显示，模型在选择题上最高准确率达90%，文献综合任务相似度得分为0.72，多模态推理问题的准确率为80%。BioEVAL作为一个可扩展的基准，提供了标准化的协议以支持持续的专家贡献和模型评估。
🔬 方法详解
问题定义：本研究旨在解决现有大型语言模型在生物工程领域的评估不足，尤其是在复杂推理和多模态任务中的表现评估。现有方法主要关注事实回忆，无法全面反映模型的实际能力。
核心思路：论文提出BioEVAL基准，通过整合多机构的研究力量，设计了一套涵盖多个生物工程子领域的评估体系，旨在全面评估模型的推理能力和多模态处理能力。
技术框架：BioEVAL基准包括三个主要模块：选择题（MCQs）、文献综合任务和多模态问题。每个模块经过专家审查和质量控制，以确保评估项目的有效性和可靠性。
关键创新：BioEVAL的创新在于其多维度评估体系，涵盖了生物工程的多个子领域，并通过专家审查确保了评估项目的高质量。这种方法与传统的单一维度评估方法有本质区别。
关键设计：在选择题部分，经过审核保留了359道题目，确保了评估的准确性。文献综合任务和多模态问题的设计也经过严格的质量控制，以确保评估结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，评估的模型在选择题上达到了最高90%的准确率，在文献综合任务中获得了0.72的相似度得分，而在多模态推理问题上准确率为80%。这些结果表明模型在不同子领域的表现存在显著差异，为未来的研究提供了重要的参考。
🎯 应用场景
BioEVAL基准的潜在应用领域包括生物医学研究、药物开发和生物工程教育等。通过为大型语言模型提供标准化的评估工具，研究人员可以更好地理解模型在复杂生物工程任务中的表现，从而推动相关技术的发展和应用。
📄 摘要（原文）
Large Language Models (LLMs) have demonstrated historic breakthroughs in general reasoning with early successes in biomedical science. However, existing LLM benchmarking emphasizes factual recall, offering limited insight into model performance on frontier and multimodal tasks. We assembled BioEVAL (BioEngineering Validation of AI and LLMs), a global, multi-institutional initiative designed to assess experimental reasoning capability across bioengineering (BE) subfields. BioEVAL spans 11 major BE subfields plus a set of uncategorized items, bringing together 22 research groups to create a PhD-level benchmark comprising 608 evaluation items: 1) 380 multiple-choice questions (MCQs, 359 retained after audit), 2) 218 literature synthesis tasks, and 3) 10 multimodal problems with experimental image interpretation. Benchmark items underwent authoring-group expert review and centralized quality control before evaluation. Following evaluation, a blinded cross-group consensus audit of the highest- and lowest-accuracy MCQ items flagged 21 questions for revision or removal; these were withheld, and all reported MCQ results are computed on the 359 retained items. We evaluated diverse cloud-scale foundation/multimodal models (e.g., ChatGPT, Gemini, and Grok) and locally deployable models suitable for inference on consumer-grade GPUs. Models achieved the highest accuracy of up to 90% on MCQs, similarity score of 0.72 on literature synthesis, and accuracy of 80% on a small sample of multimodal reasoning questions, with substantial performance variation across subfields. Leaderboard rankings characterize current capabilities, limitations, and development priorities across the evaluated BE task categories. BioEVAL is maintained as an extensible benchmark with standardized protocols for continuing expert item contribution and model evaluation.