ChemOrch: Empowering LLMs with Chemical Intelligence via Synthetic Instructions

📄 arXiv: 2509.16543v1 📥 PDF

作者: Yue Huang, Zhengzhe Jiang, Xiaonan Luo, Kehan Guo, Haomin Zhuang, Yujun Zhou, Zhengqing Yuan, Xiaoqi Sun, Jules Schleinitz, Yanbo Wang, Shuhao Zhang, Mihir Surve, Nitesh V Chawla, Olaf Wiest, Xiangliang Zhang

分类: cs.CL

发布日期: 2025-09-20

💡 一句话要点

ChemOrch：通过合成指令增强LLM的化学智能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 化学智能 大型语言模型 指令学习 合成数据 化学信息学

📋 核心要点

  1. 现有化学领域LLM训练数据匮乏，且数据生成方式与化学知识的层级结构不符，限制了LLM化学智能的发展。
  2. ChemOrch框架通过任务控制的指令生成和工具感知的响应构建，合成高质量、多样化的化学指令-响应对。
  3. 实验表明，ChemOrch生成的数据能有效提升LLM的化学能力，并能更有效地评估LLM在化学领域的弱点。

📝 摘要（中文）

由于缺乏高质量、特定领域的指令-响应数据集，以及现有合成数据生成流程与化学信息内在的层级和规则结构不一致，因此利用大型语言模型（LLM）实现化学智能仍然是一个挑战。为了解决这个问题，我们提出了ChemOrch，一个通过两阶段过程合成化学基础指令-响应对的框架：任务控制的指令生成和工具感知的响应构建。ChemOrch能够控制生成任务的多样性和难度级别，并通过工具规划和提炼以及基于工具的自我修复机制来确保响应的准确性。ChemOrch的有效性基于以下几点进行评估：1）生成指令数据的高质量，展示了卓越的多样性和与化学约束的强大对齐；2）可靠地生成评估任务，更有效地揭示了LLM在化学方面的弱点；3）当生成的指令数据用于微调时，LLM化学能力的显著提高。因此，我们的工作代表了在LLM中实现可扩展和可验证的化学智能的关键一步。

🔬 方法详解

问题定义：现有方法在利用大型语言模型（LLM）进行化学任务时，面临着高质量、领域特定指令-响应数据集稀缺的问题。此外，现有的合成数据生成流程通常未能充分考虑化学信息的内在层级结构和规则性，导致生成的数据质量不高，难以有效提升LLM的化学智能。

核心思路：ChemOrch的核心思路是通过一个两阶段的合成过程，生成化学基础的指令-响应对。第一阶段是任务控制的指令生成，旨在生成多样且难度可控的化学任务。第二阶段是工具感知的响应构建，利用化学工具确保响应的准确性，并通过工具规划、提炼和自我修复机制来进一步提高响应质量。

技术框架：ChemOrch框架主要包含两个阶段：任务控制的指令生成和工具感知的响应构建。在指令生成阶段，框架能够控制生成任务的多样性和难度级别。在响应构建阶段，框架利用化学工具进行响应生成，并通过工具规划和提炼来提高响应的准确性。此外，框架还包含一个基于工具的自我修复机制，用于纠正响应中的错误。

关键创新：ChemOrch的关键创新在于其两阶段的合成过程，该过程能够生成高质量、多样化的化学指令-响应对。与传统的数据生成方法相比，ChemOrch能够更好地控制生成任务的难度和多样性，并利用化学工具确保响应的准确性。此外，ChemOrch的自我修复机制能够进一步提高响应质量。

关键设计：ChemOrch的关键设计包括：1) 任务控制的指令生成策略，允许用户指定任务类型、难度级别等参数，从而控制生成任务的多样性和难度；2) 工具感知的响应构建方法，利用化学工具（如RDKit）进行响应生成，确保响应的化学有效性；3) 基于工具的自我修复机制，通过验证工具检测响应中的错误，并利用工具进行修复。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ChemOrch生成的数据集在微调LLM后，显著提升了LLM在化学任务上的性能。实验表明，使用ChemOrch生成的数据训练的LLM，能够更有效地解决化学问题，并能更好地泛化到未见过的化学任务上。此外，ChemOrch还能够生成更具挑战性的评估任务，从而更有效地揭示LLM在化学领域的弱点。

🎯 应用场景

ChemOrch可应用于训练更强大的化学领域LLM，提升其在分子性质预测、反应预测、逆合成分析等任务上的性能。该研究有助于加速药物发现、材料科学等领域的研发进程，并为化学教育提供更智能的辅助工具。未来，ChemOrch有望扩展到其他科学领域，赋能LLM更广泛的科学智能。

📄 摘要（原文）

Empowering large language models (LLMs) with chemical intelligence remains a challenge due to the scarcity of high-quality, domain-specific instruction-response datasets and the misalignment of existing synthetic data generation pipelines with the inherently hierarchical and rule-governed structure of chemical information. To address this, we propose ChemOrch, a framework that synthesizes chemically grounded instruction-response pairs through a two-stage process: task-controlled instruction generation and tool-aware response construction. ChemOrch enables controllable diversity and levels of difficulty for the generated tasks, and ensures response precision through tool planning and distillation, and tool-based self-repair mechanisms. The effectiveness of ChemOrch is evaluated based on: 1) the high quality of generated instruction data, demonstrating superior diversity and strong alignment with chemical constraints; 2) the reliable generation of evaluation tasks that more effectively reveal LLM weaknesses in chemistry; and 3) the significant improvement of LLM chemistry capabilities when the generated instruction data are used for fine-tuning. Our work thus represents a critical step toward scalable and verifiable chemical intelligence in LLMs.