SeedBench: A Multi-task Benchmark for Evaluating Large Language Models in Seed Science

📄 arXiv: 2505.13220v1 📥 PDF

作者: Jie Ying, Zihong Chen, Zhefan Wang, Wanli Jiang, Chenyang Wang, Zhonghang Yuan, Haoyang Su, Huanjun Kong, Fan Yang, Nanqing Dong

分类: cs.CL

发布日期: 2025-05-19

备注: Accepted by ACL 2025

💡 一句话要点

SeedBench：面向种子科学领域大语言模型的多任务评测基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 种子科学 大型语言模型 多任务学习 评测基准 种子育种

📋 核心要点

  1. 种子科学面临跨学科复杂性、高成本和专家短缺等挑战，阻碍了该领域的发展。
  2. SeedBench旨在通过构建多任务评测基准，评估LLM在种子育种关键环节的性能，推动LLM在该领域的应用。
  3. 该研究对26个LLM进行了评估，揭示了LLM在解决实际种子科学问题方面的差距，并为后续研究奠定基础。

📝 摘要（中文）

种子科学对现代农业至关重要，直接影响作物产量和全球粮食安全。然而，跨学科复杂性、高成本和有限回报等挑战阻碍了发展，导致专家短缺和技术支持不足。虽然大型语言模型（LLMs）已在各个领域展现出潜力，但由于数字资源稀缺、复杂的基因-性状关系以及缺乏标准化基准，它们在种子科学中的应用仍然有限。为了解决这一差距，我们推出了 SeedBench——首个专门为种子科学设计的多任务基准。SeedBench与领域专家合作开发，专注于种子育种，并模拟现代育种过程的关键方面。我们对26个领先的LLM进行了全面评估，包括专有模型、开源模型和领域特定的微调模型。我们的发现不仅突出了LLM的能力与实际种子科学问题之间的巨大差距，而且为种子设计LLM的研究奠定了基础。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在种子科学领域应用受限的问题。现有方法缺乏标准化的评测基准，难以评估LLMs在处理种子育种相关任务时的性能。此外，种子科学领域的数据资源稀缺，基因-性状关系复杂，进一步增加了LLMs在该领域应用的难度。

核心思路：论文的核心思路是构建一个专门面向种子科学的多任务评测基准SeedBench，用于全面评估LLMs在种子育种关键环节的性能。通过SeedBench，可以系统地分析LLMs在处理种子科学特定任务时的优势和不足，从而为后续研究提供指导。

技术框架：SeedBench的技术框架主要包括以下几个部分：1) 任务设计：与领域专家合作，设计涵盖种子育种关键环节的多个任务，例如性状预测、基因选择等；2) 数据收集与整理：收集并整理种子科学领域的相关数据，构建评测数据集；3) 模型评估：选择具有代表性的LLMs进行评估，包括专有模型、开源模型和领域特定的微调模型；4) 结果分析：分析评估结果，揭示LLMs在不同任务上的性能差异，并探讨其原因。

关键创新：论文最重要的技术创新点在于构建了首个面向种子科学领域的多任务评测基准SeedBench。该基准的构建填补了该领域缺乏标准化评测工具的空白，为LLMs在种子科学领域的应用研究奠定了基础。

关键设计：SeedBench的关键设计包括：1) 任务的多样性：涵盖了种子育种过程中的多个关键环节，例如性状预测、基因选择、育种方案设计等，能够全面评估LLMs的能力；2) 数据的质量：与领域专家合作，确保数据的准确性和可靠性；3) 评估指标的合理性：选择合适的评估指标，能够客观地反映LLMs的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究对26个领先的LLM进行了全面评估，结果表明，LLM在解决实际种子科学问题方面仍存在较大差距。尽管一些LLM在特定任务上表现出一定的潜力，但整体性能仍有待提高。该研究为后续研究提供了重要的参考，指明了LLM在种子科学领域应用的研究方向。

🎯 应用场景

该研究成果可应用于加速种子育种过程，提高育种效率和准确性。通过利用LLM的强大能力，可以辅助育种专家进行基因选择、性状预测和育种方案设计，从而培育出更高产、更优质的作物新品种，最终提高农业生产力，保障粮食安全。未来，该研究还可以扩展到其他农业领域，例如病虫害防治、精准施肥等。

📄 摘要（原文）

Seed science is essential for modern agriculture, directly influencing crop yields and global food security. However, challenges such as interdisciplinary complexity and high costs with limited returns hinder progress, leading to a shortage of experts and insufficient technological support. While large language models (LLMs) have shown promise across various fields, their application in seed science remains limited due to the scarcity of digital resources, complex gene-trait relationships, and the lack of standardized benchmarks. To address this gap, we introduce SeedBench -- the first multi-task benchmark specifically designed for seed science. Developed in collaboration with domain experts, SeedBench focuses on seed breeding and simulates key aspects of modern breeding processes. We conduct a comprehensive evaluation of 26 leading LLMs, encompassing proprietary, open-source, and domain-specific fine-tuned models. Our findings not only highlight the substantial gaps between the power of LLMs and the real-world seed science problems, but also make a foundational step for research on LLMs for seed design.