Scaling RNA Foundation Models through Iterative Refinement
作者: Pengan Chen, Liang Hong, Xinyuan Liu, Han Huang, Ziqian Lin, Jiayang Chen, Yimin Fan, Jiyue Jiang, Yu Li
分类: cs.LG
发布日期: 2026-10-09
备注: Technical Report. 20 pages, 5 figures, 9 tables
💡 一句话要点
提出Eco-RNA模型以提升RNA功能预测的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: RNA基础模型 迭代精炼 生物信息学 序列表示 Transformer结构 性能提升 非编码RNA 结构预测
📋 核心要点
- 现有RNA基础模型在推理深度和参数容量之间存在固定耦合，限制了模型的灵活性和性能。
- Eco-RNA模型通过学习的迭代精炼机制，使推理深度可调，提升了序列表示的精确度。
- 在RNAGym基准测试中，Eco-RNA在多个指标上超越了现有最先进模型，显示出显著的性能提升。
📝 摘要（中文）
RNA的生物功能在不同尺度上编码，从局部序列模式到长程结构依赖。传统的RNA基础模型在固定架构中耦合参数容量和推理深度，限制了推理的灵活性。本文提出Eco-RNA，一个具有8000万参数的RNA基础模型，通过学习的迭代精炼使推理深度可调。其共享的输入条件Transformer核心通过重复应用来精炼序列表示。实验结果表明，Eco-RNA在70项RNAGym适应性基准测试中，迭代次数从1次增加到4次，Spearman相关系数从0.242提升至0.286，且在四次迭代时超越当前最先进的Evo 2模型，尽管参数数量少500倍。该模型在非编码RNA家族分类、RNA二级结构预测和化学探测剖面预测中也表现优异。
🔬 方法详解
问题定义：传统RNA基础模型在推理时固定了计算图，导致推理深度与参数容量之间的耦合，限制了模型的灵活性和适应性。
核心思路：Eco-RNA通过学习的迭代精炼机制，使得推理深度可以在训练后进行调整，从而在固定参数下提升模型的表达能力。
技术框架：Eco-RNA的核心是一个共享的输入条件Transformer结构，通过多次迭代应用来精炼序列表示。模型在训练过程中采用了掩蔽重建、状态正则化和单侧损失等技术。
关键创新：Eco-RNA的主要创新在于引入了可调的推理深度，通过迭代精炼机制有效提升了模型性能，突破了传统模型的固定架构限制。
关键设计：模型的迭代次数在训练后选择，控制有效深度，采用的损失函数设计为单侧损失，以锚定更深的重建到较浅的参考，确保了模型的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
在70项RNAGym适应性基准测试中，Eco-RNA的迭代次数从1次提升到4次，Spearman相关系数从0.242提升至0.286，且在四次迭代时超越了当前最先进的Evo 2模型，尽管参数数量少500倍，显示出显著的性能优势。
🎯 应用场景
Eco-RNA模型在RNA功能预测、非编码RNA家族分类、RNA二级结构预测等领域具有广泛的应用潜力。其灵活的推理深度设计为生物信息学研究提供了新的思路，能够更准确地捕捉RNA的复杂功能和结构特征，未来可能推动相关领域的研究进展。
📄 摘要（原文）
Biological function in RNA is encoded across scales, from local sequence motifs to long-range structural dependencies. Conventional RNA foundation models couple parameter capacity and inference depth within a fixed architecture, prescribing a fixed computation graph for each inference. Here we present Eco-RNA, an 80M-parameter RNA foundation model that makes inference depth adjustable through learned iterative refinement. Its shared, input-conditioned Transformer core refines sequence representations through repeated application. The iteration count is selected after training and controls effective depth at fixed model parameters. We train across recurrent depths with masked reconstruction, state regularization, and a one-sided loss that anchors deeper reconstruction to a shallow reference. On the 70-assay RNAGym fitness benchmark, increasing refinement from one to four iterations raises aggregate absolute Spearman correlation from 0.242 to 0.286, with the gain retained through eight iterations. At four iterations, Eco-RNA surpasses the current SOTA Evo 2 40B on all three aggregate fitness metrics despite 500x fewer parameters. Its iteration configurations advance the compute-performance Pareto frontier among the evaluated models. It also outperforms the evaluated baselines in non-coding RNA family classification, RNA secondary-structure prediction, and chemical probing profile prediction. These results establish internal inference computation as an effective scaling dimension for RNA foundation models.