Toward Understanding BERT-Like Pre-Training for DNA Foundation Models

📄 arXiv: 2310.07644v3 📥 PDF

作者: Chaoqi Liang, Lifeng Qiao, Peng Ye, Nanqing Dong, Jianle Sun, Weiqiang Bai, Yuchen Ren, Xinzhu Ma, Hongliang Yan, Chunfeng Song, Wanli Ouyang, Wangmeng Zuo

分类: cs.AI, cs.CL, cs.LG

发布日期: 2023-10-11 (更新: 2024-09-08)

💡 一句话要点

提出RandomMask方法以解决DNA序列预训练不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: DNA序列预训练 BERT模型 RandomMask 表观遗传学 机器学习 生物信息学 下游任务

📋 核心要点

  1. 现有DNA序列预训练方法多依赖于BERT的直接应用，缺乏针对性和深入理解，导致预训练效果不足。
  2. 本文提出RandomMask方法，通过逐步扩大掩码范围，增加任务难度，从而提升模型的学习能力和预训练效果。
  3. 实验结果显示，RandomMask在6个下游任务中表现优异，特别是在表观遗传标记预测中，性能显著提升，达到了68.16%的相关系数。

📝 摘要（中文）

随着大规模预训练在语言任务中的成功，生命科学领域也逐渐应用这一方法。尤其是基于DNA序列的预训练方法因其捕捉基因信息的潜力而受到关注。然而，现有方法多直接借鉴NLP中的BERT预训练，缺乏全面理解和针对性设计。为此，本文首次进行实证研究，提出RandomMask方法，通过逐步扩大掩码边界来增加任务难度，促使模型学习更多知识。该方法简单有效，在6个下游任务中实现了最先进的性能，特别是在表观遗传标记预测中，Matthew相关系数达到68.16%，较基线提升19.85%。

🔬 方法详解

问题定义：现有的DNA序列预训练方法主要依赖于NLP中的BERT预训练，缺乏针对DNA特性的深入理解，导致预训练效果不佳，尤其是在下游任务中的表现不足。

核心思路：本文提出的RandomMask方法通过逐步扩大掩码边界，增加任务的难度，促使模型在预训练阶段学习更多的知识，从而提升下游任务的表现。

技术框架：该方法的整体架构包括数据预处理、掩码生成、模型训练和下游任务微调四个主要模块。首先对DNA序列进行分词处理，然后生成随机掩码，接着进行模型训练，最后在下游任务中进行微调。

关键创新：RandomMask的核心创新在于其动态掩码策略，通过逐步扩大掩码范围，显著提升了模型的学习能力，与传统的静态掩码方法形成鲜明对比。

关键设计：在参数设置上，RandomMask采用了逐步增加的掩码比例，并结合了适应性学习率调整策略，损失函数则使用了交叉熵损失，确保模型在训练过程中能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RandomMask在表观遗传标记预测任务中取得了68.16%的Matthew相关系数，相较于基线提升了19.85%，并且超越了之前的最先进结果3.69%。该方法在其他5个下游任务中同样表现出色，验证了其有效性。

🎯 应用场景

该研究在生命科学领域具有广泛的应用潜力，尤其是在基因组学、表观遗传学等领域。通过提升DNA序列的预训练效果，RandomMask方法能够为基因功能预测、疾病关联分析等提供更为精准的模型支持，推动相关研究的进展和实际应用。

📄 摘要（原文）

With the success of large-scale pre-training in language tasks, there is an increasing trend of applying it to the domain of life sciences. In particular, pre-training methods based on DNA sequences have received increasing attention because of their potential to capture general information about genes. However, existing pre-training methods for DNA sequences largely rely on direct adoptions of BERT pre-training from NLP, lacking a comprehensive understanding and a specifically tailored approach. To address this research gap, we provide the first empirical study with three insightful observations. Based on the empirical study, we notice that overlapping tokenizer can benefit the fine-tuning of downstream tasks but leads to inadequate pre-training with fast convergence. To unleash the pre-training potential, we introduce a novel approach called RandomMask, which gradually increases the task difficulty of BERT-like pre-training by continuously expanding its mask boundary, forcing the model to learn more knowledge. RandomMask is simple but effective, achieving state-of-the-art performance across 6 downstream tasks. RandomMask achieves a staggering 68.16\% in Matthew's correlation coefficient for Epigenetic Mark Prediction, a groundbreaking increase of 19.85\% over the baseline and a remarkable 3.69\% improvement over the previous state-of-the-art result.