Can LLMs Reliably Annotate Bioassay Metadata to Improve Data Readiness?
作者: Laura van Weesep, Riccardo Tedoldi, Jens Sjölund, Hossein Azizpour, Susanne Winiwarter, Ola Engkvist, Jon Paul Janet, Samuel Genheden, Juan Viguera Diez
分类: cs.CL, cs.AI, cs.DB, q-bio.QM
发布日期: 2026-10-01
备注: Accepted to the AIDaR workshop at NeurIPS
💡 一句话要点
利用大型语言模型提升生物测定元数据的注释可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生物测定 元数据注释 大型语言模型 数据准备 机器学习 自动化审核 药物发现
📋 核心要点
- 现有公共和工业数据库在生物测定注释方面存在大量缺失和不一致，影响数据的可用性和可靠性。
- 本文提出利用大型语言模型（LLMs）直接从测定文本中预测和审核元数据，以提高注释的准确性和一致性。
- 研究表明，LLMs在生化和细胞基础测定格式的召回率达到0.96，且能够识别潜在的错误标签，显示出良好的应用前景。
📝 摘要（中文）
随着基础模型在分子属性预测中的应用，对AI数据准备的要求日益提高，尤其是可靠的元数据注释。然而，公共数据库和工业筛选数据库在测定注释方面存在缺失、不一致或混淆的问题。本文量化了PubChem中BioAssay Ontology（BAO）测定格式和物理检测方法字段的缺失注释程度，并探讨了开源和专有的大型语言模型（LLMs）能否可靠地预测和审核测定元数据。研究发现，PubChem的约200万个生物测定中，36%缺乏测定格式，89%缺乏BioAssay类型，99.9%以上缺乏任何BAO映射的测定格式或检测技术术语。这一现象突显了自动化测试元数据整理的必要性。通过对来自PubChem和ChEMBL的评估集进行分析，发现七个LLMs与现有银标签的协议度较高，生化和细胞基础测定格式的召回率至少为0.96，尽管在代表性不足的类别中存在较多不一致。手动检查显示，这些不一致主要源于银标签之间的矛盾，而非LLM的错误。此外，与一位资深工业策展人的定性研究表明，LLM生成的证据促使专家修正了部分标签，表明LLMs能够标记潜在的错误标签。整体来看，专有模型与开源模型之间的性能差异较小，这表明LLMs可以支持大规模的测定元数据注释和审核，但在这些标签进入下游机器学习管道之前，仍需进行每类的可靠性评估和针对性的人类审核。
🔬 方法详解
问题定义：本文旨在解决生物测定元数据注释缺失和不一致的问题，现有方法在公共数据库中存在大量缺失注释，影响数据的可用性和可靠性。
核心思路：通过使用开源和专有的大型语言模型（LLMs），直接从测定文本中进行元数据的预测和审核，以实现自动化的注释过程。
技术框架：研究使用来自PubChem和ChEMBL的评估集，评估七个不同的LLMs与现有银标签的协议度，主要模块包括数据准备、模型训练、预测生成和结果审核。
关键创新：本文的创新在于首次系统性地评估LLMs在生物测定元数据注释中的应用，尤其是在处理缺失和不一致的注释方面，展示了LLMs的潜力。
关键设计：在实验中，使用了多种LLMs，并通过手动检查和定性研究验证了模型生成的标签的有效性，确保了模型的可靠性和实用性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，七个LLMs在生化和细胞基础测定格式的召回率均达到至少0.96，且在与现有银标签的协议度上表现良好。手动检查表明，许多不一致源于银标签之间的矛盾，而非LLM的错误，显示出LLMs在元数据审核中的有效性。
🎯 应用场景
该研究的潜在应用领域包括生物医学研究、药物发现和化学信息学等，能够显著提升生物测定数据的可用性和可靠性。通过自动化的元数据注释，研究人员可以更高效地利用现有数据，加速新药研发和科学发现的进程。
📄 摘要（原文）
The emergence of foundation models for molecular property prediction requires a high degree of AI data readiness, including reliable metadata annotation. However, both public repositories and industrial screening databases suffer from missing, inconsistent, or conflated assay annotations. In this work, we quantify the extent of missing annotations in PubChem for the BioAssay Ontology (BAO) assay format and physical detection method fields and investigate whether open-source and proprietary large language models (LLMs) can reliably predict and audit metadata annotations directly from the assay text. In our assessment, we found that the annotation coverage across PubChem's $\sim$2 million bioassays is critically sparse, 36\% lacking an assay format, 89\% a BioAssay type, and >99.9\% any BAO-mapped assay format or detection technology term. This motivates the need for automated test-metadata curation. Using evaluation sets derived from PubChem and ChEMBL, we assess the agreement of seven open-source and proprietary LLMs with existing silver labels. Recall is at least 0.96 for biochemical and cell-based assay formats, with a similar pattern for detection technology, although disagreements increase on under-represented classes. Manual inspection shows that many of these disagreements trace back to inconsistencies between silver sources rather than to LLM error. Moreover, in a qualitative study with a senior industrial curator, LLM-generated evidence prompted the expert to revise some of their own labels, showing LLMs can flag potentially mislabeled assays. Across the study, performance differences between proprietary and open-source models were small. Together, these results suggest LLMs can support the large-scale annotation and auditing of assay metadata, though per-class reliability estimates and targeted human review remain necessary before such labels enter downstream ML pipelines.