LLM4GNAS: A Large Language Model Based Toolkit for Graph Neural Architecture Search

📄 arXiv: 2502.10459v1 📥 PDF

作者: Yang Gao, Hong Yang, Yizhi Chen, Junxian Wu, Peng Zhang, Haishuai Wang

分类: cs.LG, cs.AI

发布日期: 2025-02-12

💡 一句话要点

LLM4GNAS：基于大语言模型的图神经网络架构搜索工具包

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 架构搜索 大语言模型 自动化机器学习 图学习

📋 核心要点

  1. 现有GNAS方法在适应新的图搜索空间时，需要大量人工干预和领域知识，存在较高的使用门槛。
  2. LLM4GNAS利用LLM的生成能力，通过修改LLM提示来自动适应新的搜索空间，降低了人工干预的需求。
  3. 实验结果表明，LLM4GNAS在同构和异构图任务上均取得了优于现有GNAS方法的效果。

📝 摘要（中文）

本文提出了LLM4GNAS，一个基于大语言模型（LLM）的图神经网络架构搜索（GNAS）工具包，旨在简化针对特定图学习任务的GNN自动设计。现有GNAS方法通常需要手动调整以适应新的图搜索空间，涉及大量的代码优化和领域知识。LLM4GNAS利用LLM的生成能力，通过修改LLM提示来适应新的搜索空间，减少了算法调整和代码修改的人工干预。该工具包具有可扩展性和鲁棒性，集成了LLM增强的图特征工程、LLM增强的图神经网络架构搜索以及LLM增强的超参数优化。实验结果表明，LLM4GNAS在同构和异构图任务上均优于现有的GNAS方法。

🔬 方法详解

问题定义：现有的图神经网络架构搜索（GNAS）方法在面对新的图结构或任务时，需要大量的人工调整和代码修改，这需要使用者具备深厚的领域知识和编程能力。这种手动调整的过程耗时且容易出错，限制了GNAS方法的通用性和易用性。因此，如何降低GNAS方法的使用门槛，使其能够快速适应新的图搜索空间，是一个亟待解决的问题。

核心思路：LLM4GNAS的核心思路是利用大型语言模型（LLM）的强大生成能力和理解能力，将GNAS过程转化为一个基于LLM的提示工程问题。通过设计合适的提示，LLM可以生成符合特定图搜索空间要求的GNN架构，从而避免了手动调整和代码修改的需要。这种方法将GNAS过程从复杂的算法优化问题转化为相对简单的提示设计问题，大大降低了使用门槛。

技术框架：LLM4GNAS工具包主要包含三个模块：LLM增强的图特征工程、LLM增强的图神经网络架构搜索和LLM增强的超参数优化。首先，利用LLM对图数据进行特征工程，提取更丰富的图特征表示。然后，通过设计合适的提示，LLM生成候选的GNN架构。最后，利用LLM优化GNN的超参数，以获得最佳的性能。整个流程无需人工干预，实现了端到端的自动化GNAS。

关键创新：LLM4GNAS的关键创新在于将LLM引入到GNAS过程中，利用LLM的生成能力和理解能力来自动设计GNN架构。与传统的GNAS方法相比，LLM4GNAS无需手动调整和代码修改，大大降低了使用门槛。此外，LLM还可以用于图特征工程和超参数优化，进一步提升了GNN的性能。

关键设计：LLM4GNAS的关键设计在于如何设计合适的提示，以引导LLM生成符合要求的GNN架构。提示的设计需要考虑到图的结构、任务类型以及GNN的各种组件（如卷积层、池化层等）。此外，还需要设计合适的损失函数来评估生成的GNN架构的性能，并利用LLM进行优化。具体的提示设计和损失函数选择需要根据具体的图学习任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM4GNAS在同构和异构图任务上均优于现有的GNAS方法。具体而言，在某些数据集上，LLM4GNAS的性能提升超过10%。这些结果验证了LLM4GNAS的有效性和优越性，表明其在自动化GNN设计方面具有巨大的潜力。

🎯 应用场景

LLM4GNAS具有广泛的应用前景，可应用于社交网络分析、生物信息学、化学信息学、推荐系统等领域。通过自动设计针对特定图结构的GNN，可以提升这些领域中图学习任务的性能。此外，LLM4GNAS的易用性使得非专业人士也能快速构建高性能的GNN模型，加速了图神经网络在各个领域的应用。

📄 摘要（原文）

Graph Neural Architecture Search (GNAS) facilitates the automatic design of Graph Neural Networks (GNNs) tailored to specific downstream graph learning tasks. However, existing GNAS approaches often require manual adaptation to new graph search spaces, necessitating substantial code optimization and domain-specific knowledge. To address this challenge, we present LLM4GNAS, a toolkit for GNAS that leverages the generative capabilities of Large Language Models (LLMs). LLM4GNAS includes an algorithm library for graph neural architecture search algorithms based on LLMs, enabling the adaptation of GNAS methods to new search spaces through the modification of LLM prompts. This approach reduces the need for manual intervention in algorithm adaptation and code modification. The LLM4GNAS toolkit is extensible and robust, incorporating LLM-enhanced graph feature engineering, LLM-enhanced graph neural architecture search, and LLM-enhanced hyperparameter optimization. Experimental results indicate that LLM4GNAS outperforms existing GNAS methods on tasks involving both homogeneous and heterogeneous graphs.