ChemATP: A Training-Free Chemical Reasoning Framework for Large Language Models

📄 arXiv: 2512.19240v1 📥 PDF

作者: Mingxu Zhang, Dazhong Shen, Qi Zhang, Ying Sun

分类: cs.CL, cs.AI

发布日期: 2025-12-22

💡 一句话要点

ChemATP：一种用于大语言模型的免训练化学推理框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 化学推理 大语言模型 知识库 免训练 原子级别 先验知识 知识检索

📋 核心要点

  1. 现有方法难以在LLM中有效融入化学先验知识，训练方法影响通用性，免训练方法缺乏细粒度信息。
  2. ChemATP构建原子级别知识库，使LLM能够动态检索和推理化学知识，实现知识与推理引擎的解耦。
  3. 实验表明，ChemATP性能超越免训练方法，并能与基于训练的SOTA模型竞争，验证了显式先验注入的有效性。

📝 摘要（中文）

大型语言模型（LLM）在通用推理方面表现出色，但由于标准字符串表示中缺乏明确的化学先验知识，因此在分子科学领域表现不佳。现有的解决方案面临一个根本性的困境。基于训练的方法将先验知识注入参数，但这种静态耦合阻碍了知识的快速更新，并且常常会损害模型的一般推理能力。相反，现有的免训练方法避免了这些问题，但依赖于表面级别的提示，无法提供精确化学推理所必需的细粒度原子级别先验知识。为了解决这个问题，我们引入了ChemATP，一个将化学知识与推理引擎解耦的框架。通过构建第一个原子级别的文本知识库，ChemATP使冻结的LLM能够显式地检索和推理这些信息。这种架构确保了解释性和适应性，同时保留了LLM固有的通用智能。实验表明，ChemATP显著优于免训练基线，并且可以与最先进的基于训练的模型相媲美，这表明显式先验注入是隐式参数更新的一种有竞争力的替代方案。

🔬 方法详解

问题定义：现有的大语言模型在化学推理方面表现不佳，主要原因是缺乏明确的化学先验知识。基于训练的方法虽然可以将化学知识注入模型参数，但会损害模型的通用推理能力，并且难以快速更新知识。免训练的方法虽然避免了这些问题，但依赖于表面级别的提示，无法提供原子级别的细粒度信息，导致推理精度不足。

核心思路：ChemATP的核心思路是将化学知识与推理引擎解耦。通过构建一个原子级别的文本知识库，ChemATP允许冻结的大语言模型动态地检索和推理这些知识。这种方法避免了修改模型参数，从而保留了模型的通用推理能力，并且可以方便地更新知识库。

技术框架：ChemATP的整体架构包含以下几个主要模块：1) 原子级别文本知识库：存储了关于原子和分子性质的详细信息。2) 知识检索模块：根据输入的问题，从知识库中检索相关的原子级别信息。3) 推理模块：利用检索到的知识，结合大语言模型的推理能力，生成答案。整个流程是：输入问题 -> 知识检索 -> LLM推理 -> 输出答案。

关键创新：ChemATP最重要的技术创新点在于构建了原子级别的文本知识库，并将其与大语言模型的推理引擎解耦。这种解耦使得模型可以在不修改参数的情况下，动态地获取和利用化学知识，从而提高了模型的推理精度和适应性。与现有方法的本质区别在于，ChemATP采用显式的知识注入方式，而不是隐式的参数更新方式。

关键设计：ChemATP的关键设计包括：1) 原子级别知识库的构建方式，需要考虑如何有效地表示和存储原子和分子的性质。2) 知识检索模块的设计，需要考虑如何快速准确地检索到相关的知识。3) 推理模块的设计，需要考虑如何将检索到的知识有效地融入到大语言模型的推理过程中。具体的参数设置、损失函数、网络结构等技术细节在论文中可能并未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ChemATP在化学推理任务上取得了显著的性能提升。实验结果表明，ChemATP显著优于免训练基线，并且可以与最先进的基于训练的模型相媲美。例如，在某个具体的化学推理数据集上，ChemATP的准确率比最佳免训练基线提高了XX%，与SOTA的训练模型相比，性能差距缩小到YY%。这些结果表明，显式先验注入是一种有效的化学推理方法。

🎯 应用场景

ChemATP具有广泛的应用前景，例如药物发现、材料设计、化学反应预测等。它可以帮助研究人员更高效地进行分子设计和筛选，加速新药和新材料的研发过程。此外，ChemATP还可以用于化学教育和科普，帮助学生和公众更好地理解化学知识。

📄 摘要（原文）

Large Language Models (LLMs) exhibit strong general reasoning but struggle in molecular science due to the lack of explicit chemical priors in standard string representations. Current solutions face a fundamental dilemma. Training-based methods inject priors into parameters, but this static coupling hinders rapid knowledge updates and often compromises the model's general reasoning capabilities. Conversely, existing training-free methods avoid these issues but rely on surface-level prompting, failing to provide the fine-grained atom-level priors essential for precise chemical reasoning. To address this issue, we introduce ChemATP, a framework that decouples chemical knowledge from the reasoning engine. By constructing the first atom-level textual knowledge base, ChemATP enables frozen LLMs to explicitly retrieve and reason over this information dynamically. This architecture ensures interpretability and adaptability while preserving the LLM's intrinsic general intelligence. Experiments show that ChemATP significantly outperforms training-free baselines and rivals state-of-the-art training-based models, demonstrating that explicit prior injection is a competitive alternative to implicit parameter updates.