GENERator: A Long-Context Generative Genomic Foundation Model

📄 arXiv: 2502.07272v3 📥 PDF

作者: Wei Wu, Qiuyi Li, Mingyang Li, Kun Fu, Fuli Feng, Jieping Ye, Hui Xiong, Zheng Wang

分类: cs.CL, q-bio.GN

发布日期: 2025-02-11 (更新: 2025-04-01)

🔗 代码/项目: GITHUB

💡 一句话要点

提出GENERator：一个长上下文的生成式基因组基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基因组模型 生成式模型 长上下文 Transformer DNA序列 蛋白质预测 序列优化

📋 核心要点

  1. 现有基因组语言模型在鲁棒性和应用范围上存在局限性，主要受限于模型结构和训练数据规模。
  2. GENERator通过构建具有长上下文和大量参数的生成式模型，并使用大规模真核DNA数据进行训练，来解决上述问题。
  3. 实验结果表明，GENERator在多个基因组任务上取得了最先进的性能，并能生成具有特定功能的蛋白质和增强子序列。

📝 摘要（中文）

本文介绍了一种名为GENERator的生成式基因组基础模型，该模型具有98k碱基对(bp)的上下文长度和12亿参数。GENERator在包含3860亿bp真核DNA的庞大数据集上进行训练，在已建立的和新提出的基准测试中均表现出最先进的性能。该模型遵循分子生物学的中心法则，能够准确生成蛋白质编码序列，这些序列翻译成在结构上类似于已知家族的蛋白质。此外，该模型在序列优化方面也显示出巨大的潜力，尤其是在通过提示响应生成具有特定活性谱的增强子序列方面。这些能力使GENERator成为基因组研究和生物技术进步的关键工具，增强了我们解释和预测复杂生物系统的能力，并实现了精确的基因组干预。

🔬 方法详解

问题定义：现有基因组语言模型在处理长序列和复杂基因组结构时面临挑战，模型鲁棒性和泛化能力不足，限制了其在基因组预测和解释方面的应用。模型结构和训练数据规模是主要瓶颈。

核心思路：本文的核心思路是构建一个具有超长上下文处理能力的大规模生成式模型，通过在大规模真核DNA数据上进行训练，使模型能够学习到基因组序列的复杂模式和依赖关系，从而提高其在基因组预测、序列优化等任务上的性能。

技术框架：GENERator的整体架构是一个基于Transformer的生成式模型，包含多个Transformer层，能够处理长达98k bp的基因组序列。模型训练采用自回归的方式，通过预测序列中的下一个碱基来学习基因组序列的分布。

关键创新：GENERator的关键创新在于其超长的上下文处理能力和大规模的训练数据。98k bp的上下文长度使其能够捕捉到基因组序列中更长距离的依赖关系，而386B bp的真核DNA训练数据则提供了丰富的基因组信息，从而提高了模型的性能。

关键设计：GENERator模型包含12亿参数，使用了高效的Transformer架构，并针对基因组序列的特点进行了优化。训练过程中，采用了大规模分布式训练策略，并使用了混合精度训练等技术来加速训练过程。损失函数为标准的交叉熵损失函数，优化器为AdamW。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GENERator在多个基因组基准测试中取得了最先进的性能。该模型能够准确生成蛋白质编码序列，这些序列翻译成在结构上类似于已知家族的蛋白质。此外，该模型在序列优化方面也显示出巨大的潜力，尤其是在通过提示响应生成具有特定活性谱的增强子序列方面。

🎯 应用场景

GENERator具有广泛的应用前景，可用于基因组序列预测、蛋白质结构预测、基因功能注释、药物靶点发现、基因治疗等领域。通过生成具有特定功能的基因序列，可以加速生物技术研发，为疾病治疗提供新的思路。该模型有望成为基因组研究和生物技术领域的重要工具。

📄 摘要（原文）

Advancements in DNA sequencing technologies have significantly improved our ability to decode genomic sequences. However, the prediction and interpretation of these sequences remain challenging due to the intricate nature of genetic material. Large language models (LLMs) have introduced new opportunities for biological sequence analysis. Recent developments in genomic language models have underscored the potential of LLMs in deciphering DNA sequences. Nonetheless, existing models often face limitations in robustness and application scope, primarily due to constraints in model structure and training data scale. To address these limitations, we present GENERator, a generative genomic foundation model featuring a context length of 98k base pairs (bp) and 1.2B parameters. Trained on an expansive dataset comprising 386B bp of eukaryotic DNA, the GENERator demonstrates state-of-the-art performance across both established and newly proposed benchmarks. The model adheres to the central dogma of molecular biology, accurately generating protein-coding sequences that translate into proteins structurally analogous to known families. It also shows significant promise in sequence optimization, particularly through the prompt-responsive generation of enhancer sequences with specific activity profiles. These capabilities position the GENERator as a pivotal tool for genomic research and biotechnological advancement, enhancing our ability to interpret and predict complex biological systems and enabling precise genomic interventions. Implementation details and supplementary resources are available at https://github.com/GenerTeam/GENERator.