Large Language Models Meet Graph Neural Networks for Text-Numeric Graph Reasoning

📄 arXiv: 2501.16361v1 📥 PDF

作者: Haoran Song, Jiarui Feng, Guangfu Li, Michael Province, Philip Payne, Yixin Chen, Fuhai Li

分类: cs.LG, cs.AI

发布日期: 2025-01-21

备注: 29 pages, 6 figures

💡 一句话要点

提出结合大语言模型与图神经网络的文本-数值图推理方法，用于科学发现。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本-数值图 图神经网络 大语言模型 科学发现 生物医学

📋 核心要点

  1. 现有科学发现方法难以有效整合文本知识和数值数据进行推理。
  2. 提出文本-数值图（TNG）结构，并结合LLM和GNN进行图理解和推理。
  3. 实验表明，该方法在关键实体挖掘和信号通路挖掘方面显著提升了分类准确率和网络推断能力。

📝 摘要（中文）

本研究提出了一种新的图结构，即文本-数值图（TNG），其中图实体和关联既有文本属性信息，也有数值信息。TNG是一种理想的数据结构模型，通过图推理进行新的科学发现，因为它集成了人类可理解的文本注释或先验知识，以及代表不同样本中图实体或关联的观察或激活水平的数值。文本信息和数值共同决定了图实体和关联在图推理中对于新科学知识发现的重要性。我们进一步提出整合大型语言模型（LLM）和图神经网络（GNN）来分析TNG，以进行图理解和推理。为了证明其效用，我们生成了文本-组学（数值）信号图（TOSG），作为一种TNG，其中所有图都具有相同的实体、关联和注释，但使用不同疾病的单细胞RNAseq（scRNAseq）数据集具有样本特定的实体数值（组学）值。我们提出了联合LLM-GNN模型，用于在TOSG上进行关键实体挖掘和信号通路挖掘。评估结果表明，LLM-GNN和TNG模型显著提高了分类准确率和网络推断能力。总之，TNG和联合LLM-GNN模型是科学发现的重要方法。

🔬 方法详解

问题定义：现有科学发现方法在处理包含文本描述和数值信息的复杂数据时面临挑战。传统方法难以有效整合先验知识（文本信息）和实验数据（数值信息）进行推理，导致发现效率低下。尤其是在生物医学领域，如何从海量组学数据中挖掘关键生物实体和通路，并结合已知的生物学知识进行验证，是一个亟待解决的问题。

核心思路：本研究的核心思路是将文本信息和数值信息融合到图结构中，构建文本-数值图（TNG）。利用大语言模型（LLM）理解文本信息，并利用图神经网络（GNN）处理图结构和数值信息。通过LLM和GNN的联合建模，实现对TNG的深度理解和推理，从而提高科学发现的效率和准确性。这种设计旨在弥合文本知识和数值数据之间的鸿沟，充分利用两者的优势。

技术框架：该方法的技术框架主要包括以下几个阶段：1) 构建文本-数值图（TNG）：将实体和关系表示为图的节点和边，并赋予文本属性和数值属性。2) 利用大语言模型（LLM）编码文本信息：使用LLM将文本描述转换为向量表示，捕捉文本的语义信息。3) 利用图神经网络（GNN）处理图结构和数值信息：使用GNN学习节点的表示，同时考虑图的结构和数值属性。4) 联合LLM和GNN进行推理：将LLM和GNN的输出进行融合，用于下游任务，如关键实体挖掘和信号通路挖掘。

关键创新：该研究的关键创新在于：1) 提出了文本-数值图（TNG）的概念，为融合文本和数值信息提供了一种新的数据结构。2) 提出了联合LLM和GNN的模型，充分利用了LLM的文本理解能力和GNN的图推理能力。3) 将该方法应用于生物医学领域，解决了关键实体挖掘和信号通路挖掘的实际问题。与现有方法相比，该方法能够更有效地整合文本知识和数值数据，从而提高科学发现的效率和准确性。

关键设计：在TNG的构建中，需要仔细选择实体和关系，并赋予合适的文本描述和数值属性。在LLM的选择上，可以选择预训练的语言模型，如BERT或GPT，并进行微调以适应特定任务。在GNN的选择上，可以选择GCN、GAT等常用的图神经网络。损失函数的设计需要根据具体任务进行调整，例如，可以使用交叉熵损失函数进行分类任务，使用均方误差损失函数进行回归任务。具体的参数设置需要通过实验进行调整。

📊 实验亮点

实验结果表明，提出的LLM-GNN模型在文本-组学信号图（TOSG）上进行关键实体挖掘和信号通路挖掘时，显著提高了分类准确率和网络推断能力。具体的性能数据和对比基线在论文中给出，证明了该方法的有效性。

🎯 应用场景

该研究成果可广泛应用于科学发现领域，尤其是在生物医学、化学、材料科学等领域。例如，可以用于挖掘疾病相关的基因、预测药物靶点、发现新材料等。通过整合已知的科学知识和实验数据，加速科学发现的进程，并为解决实际问题提供新的思路。

📄 摘要（原文）

In real-world scientific discovery, human beings always make use of the accumulated prior knowledge with imagination pick select one or a few most promising hypotheses from large and noisy data analysis results. In this study, we introduce a new type of graph structure, the text-numeric graph (TNG), which is defined as graph entities and associations have both text-attributed information and numeric information. The TNG is an ideal data structure model for novel scientific discovery via graph reasoning because it integrates human-understandable textual annotations or prior knowledge, with numeric values that represent the observed or activation levels of graph entities or associations in different samples. Together both the textual information and numeric values determine the importance of graph entities and associations in graph reasoning for novel scientific knowledge discovery. We further propose integrating large language models (LLMs) and graph neural networks (GNNs) to analyze the TNGs for graph understanding and reasoning. To demonstrate the utility, we generated the text-omic(numeric) signaling graphs (TOSG), as one type of TNGs, in which all graphs have the same entities, associations and annotations, but have sample-specific entity numeric (omic) values using single cell RNAseq (scRNAseq) datasets of different diseases. We proposed joint LLM-GNN models for key entity mining and signaling pathway mining on the TOSGs. The evaluation results showed the LLM-GNN and TNGs models significantly improve classification accuracy and network inference. In conclusion, the TNGs and joint LLM-GNN models are important approaches for scientific discovery.