Agentic Mixture-of-Workflows for Multi-Modal Chemical Search

📄 arXiv: 2502.19629v1 📥 PDF

作者: Tiffany J. Callahan, Nathaniel H. Park, Sara Capponi

分类: cs.AI

发布日期: 2025-02-26

备注: PDF includes supplemental material

💡 一句话要点

提出CRAG-MoW，用于多模态化学搜索，提升材料发现效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 材料发现 大型语言模型 多模态学习 化学搜索 检索增强生成 混合工作流程 自主代理

📋 核心要点

  1. 材料科学领域缺乏有效的LLM基准测试和实际应用框架，限制了LLM在材料发现中的应用。
  2. 提出CRAG-MoW，通过编排多个使用不同CRAG策略的代理工作流程，实现多LLM的综合评估和优化。
  3. 实验表明，CRAG-MoW在多种化学任务中表现与GPT-4o相当，并在比较评估中更受欢迎，验证了其有效性。

📝 摘要（中文）

材料设计领域庞大而复杂，需要创新的策略来整合多学科的科学知识并优化材料发现。大型语言模型（LLM）在各个领域展示了有希望的推理和自动化能力，但由于缺乏基准标准和实际实施框架，其在材料科学中的应用仍然有限。为了解决这些挑战，我们引入了用于自校正检索增强生成（CRAG-MoW）的混合工作流程——一种新颖的范例，它使用开源LLM编排采用不同CRAG策略的多个代理工作流程。与先前的方法不同，CRAG-MoW通过编排代理综合不同的输出，从而可以直接评估同一问题域中的多个LLM。我们对CRAG-MoW在小分子、聚合物和化学反应以及多模态核磁共振（NMR）光谱检索方面进行了基准测试。结果表明，CRAG-MoW的性能与GPT-4o相当，并且在比较评估中更受欢迎，突出了结构化检索和多代理综合的优势。通过揭示跨数据类型的性能变化，CRAG-MoW提供了一种可扩展、可解释且基准驱动的方法来优化用于材料发现的AI架构。这些见解对于解决LLM和用于科学应用的自主AI代理的基准测试中的基本差距至关重要。

🔬 方法详解

问题定义：论文旨在解决材料科学领域中，由于缺乏统一的基准测试和实际应用框架，导致大型语言模型（LLM）难以有效应用于材料发现的问题。现有方法难以充分利用LLM的推理和自动化能力，且难以对不同LLM在同一问题域进行直接比较和评估。

核心思路：论文的核心思路是引入一种混合工作流程（Mixture-of-Workflows）的范例，即CRAG-MoW，它通过编排多个代理（Agent）工作流程，每个工作流程采用不同的自校正检索增强生成（CRAG）策略。通过这种方式，可以综合不同LLM的输出，并进行直接比较和评估，从而优化材料发现的AI架构。

技术框架：CRAG-MoW的技术框架包含以下主要模块：1) 多个代理工作流程，每个工作流程使用不同的CRAG策略和LLM；2) 检索模块，用于从知识库中检索相关信息；3) 生成模块，使用LLM生成候选答案；4) 自校正模块，用于迭代优化生成结果；5) 编排代理，用于综合多个代理工作流程的输出，并进行最终决策。整体流程是，给定一个材料科学问题，多个代理工作流程并行工作，生成各自的答案，然后编排代理综合这些答案，给出最终结果。

关键创新：最重要的技术创新点在于CRAG-MoW的混合工作流程架构，它允许同时使用多个LLM和CRAG策略，并通过编排代理进行综合。这与传统方法中只使用单个LLM或固定工作流程的方式不同，能够更好地利用不同LLM的优势，并提高整体性能。此外，CRAG-MoW还提供了一种可扩展、可解释且基准驱动的方法来优化材料发现的AI架构。

关键设计：论文中关键的设计包括：1) 不同CRAG策略的选择，例如使用不同的检索方法、生成模型或自校正算法；2) 编排代理的设计，例如使用加权平均或投票机制来综合多个代理的输出；3) 损失函数的设计，用于训练和优化LLM和编排代理；4) 知识库的构建，用于提供高质量的检索结果。具体的参数设置和网络结构在论文中可能没有详细描述，需要进一步查阅相关文献。

📊 实验亮点

实验结果表明，CRAG-MoW在小分子、聚合物和化学反应以及多模态核磁共振（NMR）光谱检索方面表现出色，性能与GPT-4o相当，并且在比较评估中更受欢迎。这表明CRAG-MoW能够有效地利用结构化检索和多代理综合的优势，提高材料发现的效率和准确性。具体性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于材料科学领域，例如新材料设计、化学反应预测、药物发现等。通过CRAG-MoW，研究人员可以更高效地利用LLM进行材料发现，加速新材料的研发进程，并降低研发成本。此外，该方法还可以应用于其他科学领域，例如生物学、物理学等，具有广阔的应用前景。

📄 摘要（原文）

The vast and complex materials design space demands innovative strategies to integrate multidisciplinary scientific knowledge and optimize materials discovery. While large language models (LLMs) have demonstrated promising reasoning and automation capabilities across various domains, their application in materials science remains limited due to a lack of benchmarking standards and practical implementation frameworks. To address these challenges, we introduce Mixture-of-Workflows for Self-Corrective Retrieval-Augmented Generation (CRAG-MoW) - a novel paradigm that orchestrates multiple agentic workflows employing distinct CRAG strategies using open-source LLMs. Unlike prior approaches, CRAG-MoW synthesizes diverse outputs through an orchestration agent, enabling direct evaluation of multiple LLMs across the same problem domain. We benchmark CRAG-MoWs across small molecules, polymers, and chemical reactions, as well as multi-modal nuclear magnetic resonance (NMR) spectral retrieval. Our results demonstrate that CRAG-MoWs achieve performance comparable to GPT-4o while being preferred more frequently in comparative evaluations, highlighting the advantage of structured retrieval and multi-agent synthesis. By revealing performance variations across data types, CRAG-MoW provides a scalable, interpretable, and benchmark-driven approach to optimizing AI architectures for materials discovery. These insights are pivotal in addressing fundamental gaps in benchmarking LLMs and autonomous AI agents for scientific applications.