A Multi-Agent System Enables Versatile Information Extraction from the Chemical Literature

📄 arXiv: 2507.20230v2 📥 PDF

作者: Yufan Chen, Ching Ting Leung, Bowen Yu, Jianwei Sun, Yong Huang, Linyan Li, Hao Chen, Hanyu Gao

分类: cs.AI, cs.CV, cs.MA

发布日期: 2025-07-27 (更新: 2025-07-29)

💡 一句话要点

提出基于多模态大语言模型的多智能体系统，用于化学文献信息抽取。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 化学信息抽取 多模态学习 大语言模型 多智能体系统 化学文献 反应数据库 图像识别

📋 核心要点

  1. 现有化学信息抽取方法难以处理化学文献中信息的多模态和风格多样性，导致自动化程度低。
  2. 提出一种基于多模态大语言模型的多智能体系统，分解任务并协调专业智能体，实现精确抽取。
  3. 实验结果表明，该系统在复杂化学反应图形数据集上F1值达到80.8%，显著优于现有最佳模型。

📝 摘要（中文）

为了全面加速人工智能驱动的化学研究，高质量的化学数据库至关重要。从文献中自动提取化学信息对于构建反应数据库至关重要，但目前受到化学信息的多模态和风格多样性的限制。本文开发了一种基于多模态大语言模型（MLLM）的多智能体系统，用于稳健和自动化的化学信息提取。该系统利用MLLM强大的推理能力来理解各种化学图形的结构，将提取任务分解为子任务，并协调一组专门的智能体。每个智能体都结合了MLLM的能力以及专用工具的精确、特定领域的优势，以准确地解决这些子任务并将结果整合到统一的输出中。我们的系统在一个包含复杂的多模态化学反应图形的基准数据集上实现了80.8%的F1分数，显著超过了之前的最先进模型（F1分数为35.6%）。此外，它还在关键子任务中表现出持续的改进，包括分子图像识别、反应图像解析、命名实体识别和基于文本的反应提取。这项工作是朝着将化学信息自动提取到结构化数据集中的关键一步，这将有力地促进人工智能驱动的化学研究。

🔬 方法详解

问题定义：论文旨在解决化学文献中化学信息自动提取的问题。现有方法难以有效处理化学信息的复杂性和多样性，包括化学结构图像、反应图以及文本描述，导致构建高质量化学数据库的效率低下。现有方法在处理多模态信息融合和推理方面存在不足，无法充分利用不同类型信息的互补性。

核心思路：论文的核心思路是将复杂的化学信息提取任务分解为多个子任务，并利用多智能体系统协调不同的专业智能体来解决这些子任务。每个智能体都结合了多模态大语言模型（MLLM）的通用能力和特定领域工具的专业知识，从而实现更准确和高效的信息提取。通过任务分解和智能体协作，可以更好地处理化学信息的多样性和复杂性。

技术框架：该系统采用多智能体架构，主要包含以下模块：1) 多模态大语言模型（MLLM）：作为核心推理引擎，用于理解化学图形结构、分解任务和协调智能体；2) 专业智能体：每个智能体负责特定的子任务，例如分子图像识别、反应图像解析、命名实体识别和文本反应提取；3) 领域特定工具：每个智能体结合MLLM的能力和领域特定工具的优势，例如化学结构识别工具和命名实体识别工具；4) 结果整合模块：将各个智能体的输出整合为统一的结构化数据。

关键创新：该论文的关键创新在于将多模态大语言模型与多智能体系统相结合，用于化学信息提取。这种方法能够充分利用MLLM的推理能力和领域特定工具的专业知识，从而实现更准确和高效的信息提取。与现有方法相比，该方法能够更好地处理化学信息的多样性和复杂性，并能够实现更高级别的推理和理解。

关键设计：论文中没有明确给出关键参数设置、损失函数或网络结构的具体细节。但是，可以推断，MLLM的选择和训练、智能体的设计和专业工具的集成，以及智能体之间的协调机制是关键的设计考虑因素。损失函数可能包括用于分子图像识别、命名实体识别等子任务的交叉熵损失或类似损失函数。智能体之间的协调机制可能涉及某种形式的通信协议或共享知识库。

📊 实验亮点

该系统在复杂的多模态化学反应图形数据集上实现了80.8%的F1分数，显著超过了之前的最先进模型（F1分数为35.6%）。在分子图像识别、反应图像解析、命名实体识别和基于文本的反应提取等关键子任务中，该系统也表现出持续的改进，证明了其在化学信息提取方面的优越性能。

🎯 应用场景

该研究成果可应用于自动构建化学反应数据库、加速化学研究和药物发现过程。通过自动提取化学文献中的信息，可以减少人工标注的工作量，提高数据质量，并为人工智能驱动的化学研究提供更丰富的数据资源。该技术还有潜力应用于其他科学领域，例如生物学和材料科学。

📄 摘要（原文）

To fully expedite AI-powered chemical research, high-quality chemical databases are the cornerstone. Automatic extraction of chemical information from the literature is essential for constructing reaction databases, but it is currently limited by the multimodality and style variability of chemical information. In this work, we developed a multimodal large language model (MLLM)-based multi-agent system for robust and automated chemical information extraction. It utilizes the MLLM's strong reasoning capability to understand the structure of diverse chemical graphics, decompose the extraction task into sub-tasks, and coordinate a set of specialized agents, each combining the capabilities of the MLLM with the precise, domain-specific strengths of dedicated tools, to solve them accurately and integrate the results into a unified output. Our system achieved an F1 score of 80.8% on a benchmark dataset of sophisticated multimodal chemical reaction graphics from the literature, surpassing the previous state-of-the-art model (F1 score of 35.6%) by a significant margin. Additionally, it demonstrated consistent improvements in key sub-tasks, including molecular image recognition, reaction image parsing, named entity recognition and text-based reaction extraction. This work is a critical step toward automated chemical information extraction into structured datasets, which will be a strong promoter of AI-driven chemical research.