Explaining Graph Neural Networks with Large Language Models: A Counterfactual Perspective for Molecular Property Prediction

📄 arXiv: 2410.15165v1 📥 PDF

作者: Yinhan He, Zaiyi Zheng, Patrick Soga, Yaozhen Zhu, yushun Dong, Jundong Li

分类: cs.LG, cs.CL, q-bio.BM

发布日期: 2024-10-19

期刊: EMNLP 2024 (Findings)

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM-GCE，利用大语言模型提升图神经网络在分子性质预测中的可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络解释 大语言模型 分子性质预测 对抗解释 可解释性 自编码器 动态反馈 领域知识

📋 核心要点

  1. GNN在分子性质预测中表现出色，但其黑盒特性限制了在高风险场景中的应用，可解释性是关键挑战。
  2. LLM-GCE利用大语言模型生成对抗解释，结合自编码器生成对抗图拓扑，并引入动态反馈机制。
  3. 实验结果表明，LLM-GCE在分子性质预测任务中表现优异，提升了GNN的可解释性。

📝 摘要（中文）

近年来，图神经网络（GNNs）在分子性质预测任务（如毒性分析）中取得了成功。然而，由于GNN的黑盒特性，其输出在高风险决策场景（如药物发现）中可能令人担忧。为了解决这个问题，图对抗解释（GCE）作为一种提高GNN透明性的有前景的方法而出现。然而，当前的GCE方法通常未能考虑领域特定知识，这可能导致人类难以理解的输出。为了应对这一挑战，我们提出了一种新的GCE方法LLM-GCE，以释放大型语言模型（LLM）在解释用于分子性质预测的GNN方面的能力。具体来说，我们利用自编码器从基于输入图的一组对抗文本对（CTPs）生成对抗图拓扑。同时，我们还引入了一个CTP动态反馈模块来减轻LLM幻觉，该模块提供来自生成的对抗样本的中间反馈，试图提供更真实的指导。大量的实验证明了LLM-GCE的卓越性能。我们的代码已在https://github.com/YinhanHe123/new_LLM4GNNExplanation上发布。

🔬 方法详解

问题定义：现有的图神经网络（GNNs）在分子性质预测任务中表现出色，但由于其黑盒特性，难以解释其预测结果，这在药物发现等高风险领域造成了信任问题。现有的图对抗解释（GCE）方法虽然试图解决这个问题，但往往忽略了领域知识，导致生成的解释难以理解，缺乏实际意义。

核心思路：LLM-GCE的核心思路是利用大型语言模型（LLMs）的强大语义理解和生成能力，结合图神经网络的结构信息，生成更符合人类认知、更易于理解的对抗解释。通过将图结构信息转化为自然语言描述，并利用LLM生成相应的对抗文本，从而指导对抗图的生成，最终实现对GNN预测结果的解释。

技术框架：LLM-GCE主要包含以下几个模块：1) 对抗文本对（CTP）生成模块：利用LLM生成描述分子性质变化的对抗文本对。2) 自编码器模块：基于对抗文本对，生成对抗图拓扑结构。3) CTP动态反馈模块：用于缓解LLM的幻觉问题，通过中间反馈提供更真实的指导。整体流程是：首先，输入图数据；然后，利用LLM生成对抗文本对；接着，自编码器根据对抗文本对生成对抗图；最后，CTP动态反馈模块对LLM进行指导，优化对抗文本对的生成。

关键创新：LLM-GCE的关键创新在于将大型语言模型引入到图神经网络的解释任务中，利用LLM的语义理解能力生成更符合人类认知的对抗解释。此外，CTP动态反馈模块的设计有效地缓解了LLM的幻觉问题，提高了生成对抗解释的可靠性。与现有方法相比，LLM-GCE能够生成更易于理解、更具有领域知识的解释。

关键设计：在自编码器模块中，使用了图自编码器（GAE）或变分图自编码器（VGAE）来学习图结构的潜在表示。对抗文本对的生成使用了Prompt Engineering技术，设计合适的Prompt来引导LLM生成高质量的对抗文本。CTP动态反馈模块通过计算生成对抗图的性质变化，并将其反馈给LLM，从而优化对抗文本的生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-GCE在分子性质预测任务中取得了显著的性能提升。与现有的GCE方法相比，LLM-GCE生成的对抗解释更易于理解，更符合领域知识。此外，CTP动态反馈模块有效地缓解了LLM的幻觉问题，提高了生成对抗解释的可靠性。具体性能数据未知，但论文强调了LLM-GCE的superior performance。

🎯 应用场景

LLM-GCE在药物发现、材料科学等领域具有广泛的应用前景。它可以帮助研究人员理解GNN的预测结果，从而更好地设计和优化分子结构，加速新药和新材料的研发过程。此外，该方法还可以应用于其他需要可解释性的图神经网络应用场景，例如社交网络分析、金融风险评估等。

📄 摘要（原文）

In recent years, Graph Neural Networks (GNNs) have become successful in molecular property prediction tasks such as toxicity analysis. However, due to the black-box nature of GNNs, their outputs can be concerning in high-stakes decision-making scenarios, e.g., drug discovery. Facing such an issue, Graph Counterfactual Explanation (GCE) has emerged as a promising approach to improve GNN transparency. However, current GCE methods usually fail to take domain-specific knowledge into consideration, which can result in outputs that are not easily comprehensible by humans. To address this challenge, we propose a novel GCE method, LLM-GCE, to unleash the power of large language models (LLMs) in explaining GNNs for molecular property prediction. Specifically, we utilize an autoencoder to generate the counterfactual graph topology from a set of counterfactual text pairs (CTPs) based on an input graph. Meanwhile, we also incorporate a CTP dynamic feedback module to mitigate LLM hallucination, which provides intermediate feedback derived from the generated counterfactuals as an attempt to give more faithful guidance. Extensive experiments demonstrate the superior performance of LLM-GCE. Our code is released on https://github.com/YinhanHe123/new_LLM4GNNExplanation.