Proficient Graph Neural Network Design by Accumulating Knowledge on Large Language Models

📄 arXiv: 2408.06717v2 📥 PDF

作者: Jialiang Wang, Hanmo Liu, Shimin Di, Zhili Wang, Jiachuan Wang, Lei Chen, Xiaofang Zhou

分类: cs.LG, cs.AI

发布日期: 2024-08-13 (更新: 2025-07-21)

💡 一句话要点

提出DesiGNN框架以解决GNN设计中的知识积累问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 知识积累 大型语言模型 自动化设计 元学习

📋 核心要点

  1. 现有方法在设计图神经网络时，面临知识积累不足和外部噪声干扰的问题，导致模型建议不够精准。
  2. 本文提出DesiGNN框架，通过系统性地将历史设计经验转化为结构化知识，提升GNN设计的自动化水平。
  3. 实验结果表明，DesiGNN在未见数据集上能在数秒内提供前5.77%的初始模型建议，并且在性能上显著优于基线方法。

📝 摘要（中文）

高水平的自动化在人工智能领域愈发重要，尤其是在大型语言模型（LLMs）和AI代理的快速发展背景下。然而，尽管LLMs在一般推理方面表现出色，但在设计图神经网络（GNNs）等专业数据敏感任务中却面临显著挑战。现有自动化方法在系统性积累和应用数据特定设计知识方面效率低下。为此，本文提出了DesiGNN，一个知识中心框架，旨在将过去的模型设计经验转化为适合元学习的结构化知识先验。通过结合经验属性过滤和文献洞察的自适应引导，DesiGNN能够在未见数据集上快速提供高质量的模型建议，并在性能上显著优于基线。

🔬 方法详解

问题定义：本文旨在解决在设计图神经网络时，现有方法由于知识积累不足和外部噪声影响，导致模型建议不够精准的问题。

核心思路：DesiGNN框架通过将过去的模型设计经验转化为结构化的知识先验，结合元学习，提升GNN设计的自动化能力。

技术框架：DesiGNN的整体架构包括经验属性过滤模块和文献洞察自适应引导模块，前者通过基准测试提取有效属性，后者利用LLMs获取相关文献知识。

关键创新：DesiGNN的核心创新在于将历史设计经验系统化为知识先验，并通过元学习与LLMs相结合，克服了现有方法在知识应用上的局限性。

关键设计：在参数设置上，DesiGNN采用了适应性过滤机制，损失函数设计上注重对模型建议的准确性和多样性，网络结构则结合了图神经网络的特性与LLMs的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DesiGNN在未见数据集上能够在数秒内提供前5.77%的初始模型建议，且在性能上相较于基线方法表现出显著提升，验证了其在GNN设计中的有效性和高效性。

🎯 应用场景

DesiGNN框架具有广泛的应用潜力，尤其在需要快速设计高效图神经网络的领域，如社交网络分析、推荐系统和生物信息学等。其系统化的知识积累方法能够显著提高模型设计的效率和准确性，推动相关领域的研究进展。

📄 摘要（原文）

High-level automation is increasingly critical in AI, driven by rapid advances in large language models (LLMs) and AI agents. However, LLMs, despite their general reasoning power, struggle significantly in specialized, data-sensitive tasks such as designing Graph Neural Networks (GNNs). This difficulty arises from (1) the inherent knowledge gaps in modeling the intricate, varying relationships between graph properties and suitable architectures and (2) the external noise from misleading descriptive inputs, often resulting in generic or even misleading model suggestions. Achieving proficiency in designing data-aware models -- defined as the meta-level capability to systematically accumulate, interpret, and apply data-specific design knowledge -- remains challenging for existing automated approaches, due to their inefficient construction and application of meta-knowledge. To achieve the meta-level proficiency, we propose DesiGNN, a knowledge-centered framework that systematically converts past model design experiences into structured, fine-grained knowledge priors well fitted to meta-learning with LLMs. To account for the inherent variability and external noise, DesiGNN aligns empirical property filtering from extensive benchmarks with adaptive elicitation of literature insights via LLMs. By constructing a solid meta-knowledge between unseen graph understanding and known effective architecture patterns, DesiGNN can deliver top-5.77% initial model proposals for unseen datasets within seconds, and achieve consistently superior performance with minimal search costs against baselines.