AutoMathKG: The automated mathematical knowledge graph based on LLM and vector database

📄 arXiv: 2505.13406v1 📥 PDF

作者: Rong Bian, Yu Geng, Zijian Yang, Bing Cheng

分类: cs.AI

发布日期: 2025-05-19

💡 一句话要点

AutoMathKG：提出一种基于LLM和向量数据库的自动化数学知识图谱构建方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学知识图谱 大型语言模型 向量数据库 知识抽取 知识融合

📋 核心要点

  1. 现有数学知识图谱构建受限于语料库完整性，常需手动补充，且难以全自动整合多源知识。
  2. AutoMathKG将数学知识视为有向图，利用LLM增强实体关系，并构建向量数据库MathVD用于相似实体搜索。
  3. 实验表明，AutoMathKG在可达性查询和数学推理方面表现出色，验证了其性能和广泛适用性。

📝 摘要（中文）

本文提出AutoMathKG，一个高质量、广覆盖、多维度的数学知识图谱，能够自动更新。AutoMathKG将数学视为由定义、定理和问题实体组成的庞大有向图，并将它们的引用关系作为边。它整合了来自ProofWiki、教科书、arXiv论文和TheoremQA的知识，并通过上下文学习利用大型语言模型（LLM）增强实体和关系，进行数据增强。为了搜索相似实体，使用SBERT通过两种设计的嵌入策略构建了向量数据库MathVD。为了自动更新，提出了两种机制。对于知识补全机制，开发了Math LLM来与AutoMathKG交互，提供缺失的证明或解决方案。对于知识融合机制，使用MathVD检索相似实体，并使用LLM来确定是与候选实体合并还是添加为新实体。大量实验证明了AutoMathKG系统的先进性能和广泛适用性，包括MathVD中优于五个基线的卓越可达性查询结果，以及Math LLM中强大的数学推理能力。

🔬 方法详解

问题定义：现有数学知识图谱的构建面临两大挑战：一是语料库完整性不足，导致知识缺失或需要人工补充；二是难以实现多来源知识的全自动化整合，效率较低，且容易引入噪声。

核心思路：AutoMathKG的核心在于将数学知识视为一个由定义、定理和问题等实体构成的有向图，实体间的引用关系构成边。通过结合大型语言模型（LLM）和向量数据库，实现知识的自动抽取、增强、融合和更新，从而构建一个高质量、广覆盖的数学知识图谱。

技术框架：AutoMathKG的整体框架包括以下几个主要模块：1) 知识抽取模块：从ProofWiki、教科书、arXiv论文和TheoremQA等多个来源抽取数学实体和关系。2) 知识增强模块：利用LLM通过上下文学习的方式，对抽取出的实体和关系进行增强，例如补充缺失的定义、证明或解决方案。3) 向量数据库MathVD：使用SBERT模型，通过两种设计的嵌入策略，将数学实体嵌入到向量空间中，构建向量数据库MathVD，用于相似实体的快速检索。4) 知识补全模块：开发Math LLM，使其能够与AutoMathKG交互，自动补全缺失的证明或解决方案。5) 知识融合模块：利用MathVD检索相似实体，并使用LLM判断是否将新实体与现有实体合并，或者作为新的实体添加到知识图谱中。

关键创新：AutoMathKG的关键创新在于其自动化程度和知识增强能力。与传统方法相比，AutoMathKG能够自动从多个来源抽取知识，并利用LLM进行知识增强和补全，大大减少了人工干预，提高了知识图谱的质量和覆盖范围。此外，MathVD的引入使得相似实体的检索更加高效，为知识融合提供了有力支持。

关键设计：在MathVD的构建中，论文设计了两种嵌入策略，具体细节未知。Math LLM的训练和推理过程使用了上下文学习，具体prompt设计未知。知识融合模块中，LLM判断是否合并实体的具体方法未知，可能涉及相似度阈值或分类模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AutoMathKG在MathVD中的可达性查询性能优于五个基线模型。此外，Math LLM展现了强大的数学推理能力，能够生成高质量的数学证明和解决方案。这些结果验证了AutoMathKG的有效性和优越性。

🎯 应用场景

AutoMathKG可应用于数学教育、科研和智能问答等领域。它可以帮助学生和研究人员更高效地查找和理解数学知识，辅助数学问题的求解，并为开发智能数学学习系统提供基础数据和知识支撑。未来，AutoMathKG有望成为数学领域的重要基础设施。

📄 摘要（原文）

A mathematical knowledge graph (KG) presents knowledge within the field of mathematics in a structured manner. Constructing a math KG using natural language is an essential but challenging task. There are two major limitations of existing works: first, they are constrained by corpus completeness, often discarding or manually supplementing incomplete knowledge; second, they typically fail to fully automate the integration of diverse knowledge sources. This paper proposes AutoMathKG, a high-quality, wide-coverage, and multi-dimensional math KG capable of automatic updates. AutoMathKG regards mathematics as a vast directed graph composed of Definition, Theorem, and Problem entities, with their reference relationships as edges. It integrates knowledge from ProofWiki, textbooks, arXiv papers, and TheoremQA, enhancing entities and relationships with large language models (LLMs) via in-context learning for data augmentation. To search for similar entities, MathVD, a vector database, is built through two designed embedding strategies using SBERT. To automatically update, two mechanisms are proposed. For knowledge completion mechanism, Math LLM is developed to interact with AutoMathKG, providing missing proofs or solutions. For knowledge fusion mechanism, MathVD is used to retrieve similar entities, and LLM is used to determine whether to merge with a candidate or add as a new entity. A wide range of experiments demonstrate the advanced performance and broad applicability of the AutoMathKG system, including superior reachability query results in MathVD compared to five baselines and robust mathematical reasoning capability in Math LLM.