MORAD: Reinforcement Learning with Multi-Objective Rewards for RNA Inverse Design

📄 arXiv: 2610.13305v1 📥 PDF

作者: Jixin Tang, Ji Guo, Jun Zhao

分类: cs.LG, q-bio.BM

发布日期: 2026-10-09

备注: 18 pages, 5 figures. Jixin Tang and Ji Guo contributed equally. Project page: https://gabrile166.github.io/MORAD/

💡 一句话要点

提出MORAD框架以解决RNA逆向设计中的多目标优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: RNA逆向设计 强化学习 多目标优化 生物信息学 机器学习

📋 核心要点

  1. 现有的RNA逆向设计方法通常为每个目标背骨训练单独的策略，导致效率低下和模型重用性差。
  2. MORAD通过在线强化学习框架，结合多目标奖励机制，优化背骨条件的RNA序列设计，提升了模型的适应性和性能。
  3. 实验结果表明，MORAD在多个评估指标上超越了现有方法，GDT-TS提升16.0%，配对MCC提升19.4%，并显著降低了集体缺陷。

📝 摘要（中文）

我们介绍了MORAD，一个在线强化学习框架，旨在为背骨条件的RNA扩散模型训练一个共享策略，以适应多种目标背骨。结构条件的RNA逆向设计旨在寻找与目标三维背骨兼容的核苷酸序列，但现有的强化学习方法要么为每个目标背骨优化单独的策略，要么依赖离线偏好优化，导致可重用的背骨条件模型的在线后训练尚未得到充分探索。MORAD结合了背骨条件的组采样、组相对奖励归一化和前向过程扩散目标，超越了主要针对三级结构质量的现有RL奖励，联合优化了六个测量指标，涵盖了三级几何、碱基配对、集体行为和序列组成。通过将每个测量映射到有界的期望得分并用加权几何平均结合，MORAD显著提升了RNA设计的效果。

🔬 方法详解

问题定义：本论文旨在解决RNA逆向设计中的多目标优化问题，现有方法通常为每个目标背骨训练单独的策略，导致模型重用性差和效率低下。

核心思路：MORAD通过在线强化学习框架，结合背骨条件的组采样和多目标奖励机制，优化RNA序列设计，提升模型的适应性和性能。

技术框架：MORAD的整体架构包括背骨条件的组采样、组相对奖励归一化和前向过程扩散目标，形成一个统一的在线训练流程。

关键创新：MORAD的主要创新在于联合优化六个不同的测量指标，超越了传统方法仅关注三级结构质量的局限，采用加权几何平均来整合异构目标。

关键设计：在设计中，MORAD将每个测量映射到有界的期望得分，并通过加权几何平均结合，确保不同目标之间的平衡与优化方向的一致性。具体参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

MORAD在多个评估指标上表现优异，GDT-TS提升16.0%（从0.3300提升至0.3827），配对MCC提升19.4%（从0.6110提升至0.7295），同时集体缺陷降低27.5%（从0.3906降低至0.2830），在测试集上超越了RiboDiffusion、gRNAde和RDesign，确立了RNA逆向设计的新技术前沿。

🎯 应用场景

该研究在RNA逆向设计领域具有广泛的应用潜力，能够为生物工程、药物设计和合成生物学等领域提供高效的RNA序列设计工具。未来，MORAD可能推动RNA设计的自动化和智能化进程，提升相关研究的效率和准确性。

📄 摘要（原文）

We introduce MORAD, an online reinforcement learning framework for backbone-conditioned RNA diffusion models that trains a single shared policy across diverse target backbones. Structure-conditioned RNA inverse design seeks nucleotide sequences compatible with a target three-dimensional backbone, yet existing reinforcement learning approaches either optimize a separate policy for each target backbone or rely on offline preference optimization, leaving online post-training of a reusable backbone-conditioned model largely unexplored. MORAD combines backbone-conditioned group sampling, group-relative reward normalization, and a forward-process diffusion objective. Beyond existing RL rewards that primarily target tertiary structural quality, MORAD jointly optimizes six measurements spanning tertiary geometry, base pairing, ensemble behavior, and sequence composition. To aggregate these heterogeneous objectives despite differences in scale and optimization direction, MORAD maps each measurement to a bounded desirability score and combines them with a weighted geometric mean. Compared with a tertiary-structure-only reward, this multi-objective formulation improves 10 of the 11 evaluation metrics that have a preferred direction. Applied to pretrained RIDE, MORAD improves GDT-TS by 16.0% (from 0.3300 to 0.3827) and pairing MCC by 19.4% (from 0.6110 to 0.7295), while reducing normalized ensemble defect by 27.5% (from 0.3906 to 0.2830). On the test set, MORAD outperforms RiboDiffusion, gRNAde, and RDesign across tertiary structural accuracy, secondary-structure pairing, and thermodynamic quality, establishing a new state of the art in structure-conditioned RNA inverse design.