KARMA: Leveraging Multi-Agent LLMs for Automated Knowledge Graph Enrichment
作者: Yuxing Lu, Wei Wu, Xukai Zhao, Rui Peng, Jinzhuo Wang
分类: cs.CL, cs.AI, cs.CE, cs.DL
发布日期: 2025-02-10 (更新: 2026-01-11)
备注: 24 pages, 3 figures, 2 tables
期刊: Spotlight paper of NeurIPS 2025
💡 一句话要点
KARMA：利用多智能体LLM自动丰富知识图谱
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识图谱 大型语言模型 多智能体系统 自动化知识抽取 信息抽取
📋 核心要点
- 现有知识图谱依赖人工维护，难以跟上科学文献爆炸式增长的速度，导致知识更新滞后。
- KARMA框架利用多智能体LLM协同工作，自动化知识图谱的实体发现、关系抽取、模式对齐和冲突解决。
- 实验结果表明，KARMA能够有效识别大量新实体，并显著提高知识图谱的准确性和一致性。
📝 摘要（中文）
维护全面且最新的知识图谱（KG）对于现代人工智能系统至关重要，但人工管理难以跟上科学文献快速增长的步伐。本文提出了KARMA，一个新颖的框架，采用多智能体大型语言模型（LLM）通过对非结构化文本进行结构化分析来自动丰富KG。我们的方法采用了九个协作智能体，涵盖实体发现、关系抽取、模式对齐和冲突解决，它们迭代地解析文档，验证提取的知识，并将其集成到现有的图结构中，同时遵守特定领域的模式。在来自三个不同领域的1200篇PubMed文章上的实验表明，KARMA在知识图谱丰富方面的有效性，能够识别多达38230个新实体，同时实现83.1%的LLM验证正确率，并通过多层评估将冲突边减少18.6%。
🔬 方法详解
问题定义：论文旨在解决知识图谱（KG）自动构建和更新的问题。现有KG依赖人工维护，成本高昂且难以扩展，无法及时反映最新的科学发现。因此，如何从海量非结构化文本（如科研论文）中自动抽取知识并整合到KG中，是一个重要的挑战。现有方法在处理复杂关系、模式对齐和知识冲突方面存在不足。
核心思路：KARMA的核心思路是利用多智能体LLM的协同能力，模拟人类专家团队的工作流程。每个智能体负责KG构建的不同环节，通过迭代解析文档、验证知识和整合信息，实现KG的自动丰富。这种多智能体协作的方式可以有效提高知识抽取的准确性和效率，并解决知识冲突。
技术框架：KARMA框架包含九个协作智能体，构成一个完整的知识图谱构建流程。这些智能体包括：实体发现智能体、关系抽取智能体、模式对齐智能体、冲突解决智能体等。整体流程如下：1) 文档输入：输入待处理的非结构化文本（如PubMed文章）。2) 智能体协作：各个智能体并行工作，抽取实体、关系等知识。3) 知识验证：利用LLM对抽取出的知识进行验证，过滤错误信息。4) 知识整合：将验证后的知识整合到现有KG中，并进行模式对齐和冲突解决。5) 迭代更新：重复上述步骤，不断丰富和完善KG。
关键创新：KARMA的关键创新在于其多智能体LLM架构，它将复杂的KG构建任务分解为多个子任务，并分配给不同的智能体协同完成。这种架构能够充分利用LLM的知识推理和自然语言处理能力，提高知识抽取的准确性和效率。此外，KARMA还引入了知识验证机制，利用LLM对抽取出的知识进行验证，有效降低了错误信息的引入。
关键设计：KARMA框架的关键设计包括：1) 智能体角色定义：明确定义每个智能体的职责和工作流程。2) 智能体间通信机制：设计有效的通信机制，保证智能体之间的信息共享和协同工作。3) 知识验证策略：采用合适的LLM和验证方法，对抽取出的知识进行准确评估。4) 冲突解决策略：设计有效的冲突解决算法，保证KG的一致性和准确性。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，KARMA在知识图谱丰富方面表现出色，能够识别多达38230个新实体，同时实现83.1%的LLM验证正确率。通过多层评估，KARMA还将冲突边减少了18.6%。这些数据表明，KARMA能够有效提高知识图谱的规模、准确性和一致性。
🎯 应用场景
KARMA框架可应用于多个领域，例如生物医药、金融、法律等。它可以帮助研究人员快速构建和更新领域知识图谱，从而加速科学发现和技术创新。此外，KARMA还可以用于智能问答、推荐系统等应用，提供更准确和全面的知识服务。未来，KARMA有望成为构建大规模知识图谱的重要工具。
📄 摘要（原文）
Maintaining comprehensive and up-to-date knowledge graphs (KGs) is critical for modern AI systems, but manual curation struggles to scale with the rapid growth of scientific literature. This paper presents KARMA, a novel framework employing multi-agent large language models (LLMs) to automate KG enrichment through structured analysis of unstructured text. Our approach employs nine collaborative agents, spanning entity discovery, relation extraction, schema alignment, and conflict resolution that iteratively parse documents, verify extracted knowledge, and integrate it into existing graph structures while adhering to domain-specific schema. Experiments on 1,200 PubMed articles from three different domains demonstrate the effectiveness of KARMA in knowledge graph enrichment, with the identification of up to 38,230 new entities while achieving 83.1\% LLM-verified correctness and reducing conflict edges by 18.6\% through multi-layer assessments.