Adopting Reinforcement Learning with Verifiable Rewards for Molecular Generation

📄 arXiv: 2607.19044v1 📥 PDF

作者: Mingxuan Ouyang, Hao Lan, Wanyu Lin

分类: cs.LG

发布日期: 2026-07-21

备注: 13 pages, 4 figures

💡 一句话要点

提出LLMol框架以解决分子生成中的优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分子生成 强化学习 可验证奖励 化学设计 药物发现 大型语言模型 序列预测 优化算法

📋 核心要点

  1. 现有分子生成方法依赖有限数据集的监督训练，难以满足复杂的分子设计需求。
  2. 提出LLMol框架，将分子设计视为目标条件的序列预测任务，结合可验证的奖励进行生成优化。
  3. 实验结果显示，LLMol在多种分子基准测试中超越现有方法，成功率和效率显著提高。

📝 摘要（中文）

利用大型语言模型（LLMs）进行分子生成在化学和药物设计中展现出显著潜力。现有方法主要依赖于有限数据集的监督训练或微调，难以捕捉复杂的分子设计目标。为了解决这一挑战，本文提出了LLMol，一个原则性的强化学习框架，直接结合可验证的奖励以实现目标分子的生成。LLMol采用两阶段训练模式，首先通过监督学习捕捉化学语法和分子分布，然后引入基于属性的奖励信号，通过强化学习引导分子生成。实验结果表明，LLMol在多种分子基准测试中表现优于现有方法，成功率和效率均有所提升。

🔬 方法详解

问题定义：本文旨在解决现有分子生成方法在复杂设计目标下的优化不足，尤其是在缺乏直接优化机制的情况下，生成的分子难以与期望属性对齐。

核心思路：LLMol框架将分子设计视为目标条件的序列预测任务，通过可验证的奖励信号提供明确的监督，从而引导生成过程朝向特定目标。

技术框架：LLMol采用两阶段训练模式。第一阶段为监督学习，微调大型语言模型以捕捉化学语法和分子分布；第二阶段引入强化学习与可验证奖励（RLVR），直接整合基于属性的奖励信号。

关键创新：LLMol的主要创新在于将可验证奖励直接应用于分子生成的强化学习框架中，显著提高了生成的分子与目标属性的对齐程度。与现有方法相比，LLMol在处理复杂分子设计任务时表现出更高的稳定性和有效性。

关键设计：在RLVR阶段，采用了组相对策略优化（GRPO）算法，以平滑奖励信号并提高训练的鲁棒性。此外，设计了特定的损失函数和网络结构，以适应分子生成的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMol在多个分子基准测试中表现优于现有方法，成功率提高了20%以上，效率提升显著，展示了其在分子生成任务中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括药物发现、材料科学和化学合成等。通过提高分子生成的效率和成功率，LLMol能够加速新药物的设计过程，降低研发成本，具有重要的实际价值和未来影响。

📄 摘要（原文）

Leveraging large language models (LLMs) for molecular generation has shown remarkable potential in chemical and drug design. Current methods primarily rely on supervised training or fine-tuning with limited datasets, which are insufficient to capture complex molecular design objectives. While some approaches attempt to guide generation toward specific goals, they often lack direct optimization mechanisms, making it difficult to align generated molecules with desired properties. To tackle these challenges, we propose \textbf{LLMol}, a principled reinforcement learning framework that directly incorporates verifiable rewards for targeted molecule generation. The key insight is to formulate molecular design as a goal-conditioned sequence prediction task, where verifiable rewards serve as explicit supervision to drive generation toward desired objectives. LLMol follows a two-stage training paradigm combining supervised learning and reinforcement learning. In the first stage, large language models are supervised fine-tuned to capture chemical syntax and molecular distributions. In the second stage, we introduce Reinforcement Learning with Verifiable Rewards (RLVR), which directly integrates property-based reward signals to guide molecular generation toward task-specific objectives. To address the high variance and instability common in discrete sequence optimization, we adopt Group Relative Policy Optimization (GRPO), a stable on-policy algorithm that smooths reward signals and improves training robustness. This framework enables LLMol to effectively handle a range of molecular design tasks, including single-property targeting (e.g., penalized logP, QED) and structure-constrained optimization. Experimental results demonstrate that LLMol consistently outperforms existing methods, achieving higher success rates and improved efficiency across diverse molecular benchmarks.