ChemDFM-R: A Chemical Reasoning LLM Enhanced with Atomized Chemical Knowledge

📄 arXiv: 2507.21990v3 📥 PDF

作者: Zihan Zhao, Bo Chen, Ziping Wan, Lu Chen, Xuanze Lin, Shiyang Yu, Situo Zhang, Da Ma, Zichen Zhu, Danyang Zhang, Huayang Wang, Zhongyang Dai, Liyang Wen, Xin Chen, Kai Yu

分类: cs.CE, cs.AI

发布日期: 2025-07-29 (更新: 2025-12-17)

备注: 18 figures, 11 tables

💡 一句话要点

ChemDFM-R：通过原子化化学知识增强的化学推理大语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 化学推理 大语言模型 原子化知识 知识蒸馏 强化学习 化学信息学 可解释性

📋 核心要点

  1. 现有大语言模型在化学领域应用受限于领域知识的浅薄和推理能力的不足。
  2. ChemDFM-R通过构建原子化化学知识数据集ChemFG，并结合混合源蒸馏和领域强化学习来提升化学推理能力。
  3. 实验表明ChemDFM-R在多个化学基准测试中达到领先水平，并提供可解释的推理过程。

📝 摘要（中文）

大型语言模型（LLMs）取得了显著进展，但由于领域理解的不足和推理能力的限制，它们在化学等科学领域的应用仍然受到阻碍。本文专注于化学领域，开发了一种化学推理LLM，ChemDFM-R。首先，构建了一个全面的原子化化学知识数据集ChemFG，标注了分子中官能团的存在以及化学反应过程中官能团的变化，以增强模型对化学基本原理和内在逻辑的理解。然后，提出了一种混合源蒸馏方法，将原子化知识的专业知识与通用推理技能相结合，并通过特定领域的强化学习来增强化学推理。在各种化学基准上的实验表明，ChemDFM-R实现了最先进的性能，同时提供了可解释的、基于理由的输出。进一步的案例研究表明，显式的推理链显著提高了模型在真实世界人机协作场景中的可靠性、透明性和实用性。

🔬 方法详解

问题定义：现有的大语言模型在化学领域应用时，缺乏对化学基本原理和内在逻辑的深入理解，导致推理能力不足，难以解决复杂的化学问题。现有的方法难以提供可解释的推理过程，限制了其在实际应用中的可靠性和透明性。

核心思路：ChemDFM-R的核心思路是通过注入原子化的化学知识来增强大语言模型的化学推理能力。具体来说，构建一个包含官能团信息和反应变化的知识图谱，并利用该知识图谱来训练模型，使其能够更好地理解化学反应的本质。同时，采用混合源蒸馏方法，将原子化知识的专业知识与通用推理技能相结合，从而提升模型的整体性能。

技术框架：ChemDFM-R的整体框架包括以下几个主要模块：1) 原子化化学知识图谱构建模块：构建ChemFG数据集，标注分子中官能团的存在以及化学反应过程中官能团的变化。2) 混合源蒸馏模块：将原子化知识的专业知识与通用推理技能相结合，训练模型。3) 领域特定强化学习模块：利用强化学习进一步提升模型在化学领域的推理能力。4) 推理模块：利用训练好的模型进行化学推理，并输出可解释的推理链。

关键创新：ChemDFM-R的关键创新在于：1) 构建了ChemFG数据集，提供了一种新的原子化化学知识表示方法。2) 提出了混合源蒸馏方法，有效地将原子化知识与通用推理技能相结合。3) 利用领域特定强化学习进一步提升了模型在化学领域的推理能力。与现有方法相比，ChemDFM-R能够提供更准确、更可解释的化学推理结果。

关键设计：ChemDFM-R的关键设计包括：1) ChemFG数据集的标注规范，确保了知识的准确性和完整性。2) 混合源蒸馏的损失函数设计，平衡了原子化知识和通用推理技能的学习。3) 强化学习的奖励函数设计，鼓励模型生成更准确、更可解释的推理链。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ChemDFM-R在多个化学基准测试中取得了领先的性能。论文中提到，ChemDFM-R在多个化学基准上实现了最先进的性能，但没有给出具体的性能数据和对比基线。案例研究表明，ChemDFM-R能够提供可解释的推理链，显著提高了模型在真实世界人机协作场景中的可靠性、透明性和实用性。具体提升幅度未知。

🎯 应用场景

ChemDFM-R可应用于药物发现、材料设计、化学合成路线规划等领域。通过提供可解释的推理过程，ChemDFM-R能够帮助化学家更好地理解化学反应的本质，从而提高科研效率和创新能力。未来，ChemDFM-R有望成为化学研究的重要辅助工具，促进化学领域的快速发展。

📄 摘要（原文）

While large language models (LLMs) have achieved impressive progress, their application in scientific domains such as chemistry remains hindered by shallow domain understanding and limited reasoning capabilities. In this work, we focus on the specific field of chemistry and develop a Chemical Reasoning LLM, ChemDFM-R. We first construct a comprehensive dataset of atomized chemical knowledge, ChemFG, annotating the presence of functional groups in molecules and the changes of functional groups during chemical reactions, to enhance the model's understanding of the fundamental principles and internal logic of chemistry. Then, we propose a mixed-source distillation method that integrates expertise in atomized knowledge with general reasoning skills, followed by domain-specific reinforcement learning to enhance chemical reasoning. Experiments on diverse chemical benchmarks demonstrate that ChemDFM-R achieves cutting-edge performance while providing interpretable, rationale-driven outputs. Further case studies illustrate how explicit reasoning chains significantly improve the model's reliability, transparency, and practicality in real-world human-AI collaboration scenarios.