METAGENE-1: Metagenomic Foundation Model for Pandemic Monitoring
作者: Ollie Liu, Sami Jaghouar, Johannes Hagemann, Shangshang Wang, Jason Wiemels, Jeff Kaufman, Willie Neiswanger
分类: q-bio.GN, cs.AI, cs.CL, cs.LG
发布日期: 2025-01-03
💡 一句话要点
METAGENE-1：用于疫情监测的宏基因组基础模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 宏基因组 基础模型 疫情监测 Transformer模型 废水分析
📋 核心要点
- 现有基因组模型侧重于个体基因组或特定物种，无法有效捕获复杂环境中的完整基因组信息分布，限制了疫情监测能力。
- METAGENE-1通过在包含大量废水样本的宏基因组数据集上预训练大型Transformer模型，学习废水中的基因组信息分布。
- 实验结果表明，METAGENE-1在基因组基准测试和病原体检测等任务上取得了最先进的性能，展示了其在公共卫生领域的潜力。
📝 摘要（中文）
我们预训练了METAGENE-1，一个拥有70亿参数的自回归Transformer模型，我们称之为宏基因组基础模型。该模型在一个包含超过1.5万亿碱基对的多样化宏基因组DNA和RNA序列的新型语料库上进行训练。该数据集来源于大量人类废水样本，这些样本通过深度宏基因组（下一代）测序方法进行处理和测序。与专注于个体基因组或特定物种的基因组模型不同，METAGENE-1的目标是捕获废水中存在的完整基因组信息分布，以辅助与疫情监测和病原体检测相关的任务。我们对数据集进行了字节对编码（BPE）分词，专门为宏基因组序列定制，然后预训练我们的模型。在本文中，我们首先详细介绍了预训练数据集、分词策略和模型架构，重点介绍了能够有效建模宏基因组数据的考虑因素和设计选择。然后，我们展示了在该宏基因组数据集上预训练该模型的结果，提供了关于损失、系统指标和预训练过程中训练稳定性的详细信息。最后，我们展示了METAGENE-1的性能，该模型在一组基因组基准测试和专注于人类病原体检测和基因组序列嵌入的新评估中取得了最先进的结果，展示了其在疫情监测、生物监测和新兴健康威胁早期检测中公共卫生应用的潜力。
🔬 方法详解
问题定义：论文旨在解决现有基因组模型无法有效捕获复杂环境（如废水）中完整基因组信息分布的问题。现有方法通常侧重于个体基因组或特定物种，忽略了宏基因组数据的复杂性和多样性，限制了在疫情监测和病原体检测等方面的应用。
核心思路：论文的核心思路是利用大规模宏基因组数据预训练一个大型Transformer模型，使其能够学习废水中的基因组信息分布。通过捕获废水中的完整基因组信息，该模型可以辅助疫情监测、生物监测和新兴健康威胁的早期检测。
技术框架：METAGENE-1的整体框架包括以下几个主要阶段：1) 构建大规模宏基因组数据集，该数据集来源于大量人类废水样本，包含多样化的DNA和RNA序列；2) 对数据集进行字节对编码（BPE）分词，专门为宏基因组序列定制；3) 使用分词后的数据预训练一个拥有70亿参数的自回归Transformer模型；4) 在基因组基准测试和病原体检测等任务上评估模型的性能。
关键创新：该论文的关键创新在于：1) 构建了一个大规模、多样化的宏基因组数据集，为模型训练提供了充足的数据；2) 提出了专门为宏基因组序列定制的BPE分词策略；3) 训练了一个大型Transformer模型，能够有效捕获废水中的基因组信息分布。
关键设计：在模型设计方面，论文采用了拥有70亿参数的自回归Transformer模型。在数据处理方面，论文采用了字节对编码（BPE）分词，并针对宏基因组序列的特点进行了优化。在训练过程中，论文关注损失、系统指标和训练稳定性，以确保模型能够有效学习。
🖼️ 关键图片
📊 实验亮点
METAGENE-1在基因组基准测试和专注于人类病原体检测和基因组序列嵌入的新评估中取得了最先进的结果。具体性能数据未知，但论文强调了其在公共卫生应用方面的潜力，表明该模型在相关任务上显著优于现有方法。
🎯 应用场景
METAGENE-1具有广泛的应用前景，可用于疫情监测、生物监测和新兴健康威胁的早期检测。通过分析废水中的基因组信息，可以及时发现和追踪病原体的传播，为公共卫生决策提供支持。此外，该模型还可以用于基因组序列嵌入，为基因组数据的分析和理解提供新的工具。
📄 摘要（原文）
We pretrain METAGENE-1, a 7-billion-parameter autoregressive transformer model, which we refer to as a metagenomic foundation model, on a novel corpus of diverse metagenomic DNA and RNA sequences comprising over 1.5 trillion base pairs. This dataset is sourced from a large collection of human wastewater samples, processed and sequenced using deep metagenomic (next-generation) sequencing methods. Unlike genomic models that focus on individual genomes or curated sets of specific species, the aim of METAGENE-1 is to capture the full distribution of genomic information present within this wastewater, to aid in tasks relevant to pandemic monitoring and pathogen detection. We carry out byte-pair encoding (BPE) tokenization on our dataset, tailored for metagenomic sequences, and then pretrain our model. In this paper, we first detail the pretraining dataset, tokenization strategy, and model architecture, highlighting the considerations and design choices that enable the effective modeling of metagenomic data. We then show results of pretraining this model on our metagenomic dataset, providing details about our losses, system metrics, and training stability over the course of pretraining. Finally, we demonstrate the performance of METAGENE-1, which achieves state-of-the-art results on a set of genomic benchmarks and new evaluations focused on human-pathogen detection and genomic sequence embedding, showcasing its potential for public health applications in pandemic monitoring, biosurveillance, and early detection of emerging health threats.