A Graph Talks, But Who's Listening? Rethinking Evaluations for Graph-Language Models

📄 arXiv: 2508.20583v1 📥 PDF

作者: Soham Petkar, Hari Aakash K, Anirudh Vempati, Akshit Sinha, Ponnurangam Kumarauguru, Chirag Agarwal

分类: cs.CL, cs.AI

发布日期: 2025-08-28

💡 一句话要点

揭示图语言模型评估困境：现有基准不足以评估多模态推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图语言模型 多模态推理 图神经网络 评估基准 知识图谱

📋 核心要点

  1. 现有图语言模型(GLM)的评估基准主要依赖节点分类数据集，无法有效评估模型的多模态推理能力。
  2. 论文提出CLEGR基准，通过合成图生成和复杂问题设计，旨在更全面地评估GLM在结构和语义上的联合推理能力。
  3. 实验表明，现有GLM在CLEGR基准上表现不佳，甚至不如简单的LLM基线，质疑了GNN在GLM中的必要性。

📝 摘要（中文）

图语言模型(GLM)旨在整合图神经网络(GNN)的结构推理能力与大型语言模型(LLM)的语义理解能力。然而，我们证明，当前GLM的评估基准（主要为重新利用的节点级分类数据集）不足以评估多模态推理。我们的分析表明，仅使用单模态信息即可在这些基准上获得良好性能，这表明它们不需要图-语言集成。为了解决这个评估差距，我们引入了CLEGR(组合语言-图推理)基准，旨在评估各种复杂程度的多模态推理。我们的基准采用合成图生成流程，并结合需要对结构和文本语义进行联合推理的问题。我们对代表性的GLM架构进行了全面评估，发现软提示LLM基线与包含完整GNN骨干的GLM性能相当。这一结果质疑了将图结构整合到LLM中的架构必要性。我们进一步表明，GLM在需要结构推理的任务中表现出显著的性能下降。这些发现突出了当前GLM在图推理能力方面的局限性，并为推动社区朝着涉及图结构和语言的显式多模态推理发展奠定了基础。

🔬 方法详解

问题定义：现有图语言模型(GLM)的评估主要依赖于节点分类任务，这些任务往往可以通过单模态信息（例如节点属性或文本描述）来解决，而无需真正利用图的结构信息进行推理。因此，现有评估方法无法有效衡量GLM在多模态推理方面的能力，也无法体现图结构与语言信息融合的优势。现有方法的痛点在于缺乏能够充分测试GLM结构推理能力的基准数据集。

核心思路：论文的核心思路是设计一个专门用于评估GLM多模态推理能力的基准数据集CLEGR。CLEGR通过合成图的方式，控制图的结构和语义信息，并设计需要同时理解图结构和文本描述才能回答的问题。通过这种方式，CLEGR能够更有效地评估GLM是否真正具备了图结构推理能力。

技术框架：CLEGR基准包含以下几个主要组成部分： 1. 图生成器：用于生成具有特定结构和语义信息的合成图。 2. 问题生成器：根据生成的图，自动生成需要进行结构和语义联合推理的问题。 3. 评估指标：用于衡量GLM在回答问题时的准确率。

关键创新：CLEGR基准的关键创新在于其合成图生成和问题生成的方式。通过控制图的结构和语义信息，CLEGR能够生成具有不同复杂度的推理任务，从而更全面地评估GLM的能力。此外，CLEGR的问题生成器能够自动生成大量的问题，避免了人工标注的成本和偏差。

关键设计：CLEGR基准的关键设计包括： 1. 图结构设计：CLEGR支持多种图结构，例如链式图、星型图、树状图等，可以根据需要选择不同的图结构。 2. 语义信息设计：CLEGR允许为图中的节点和边添加文本描述，从而引入语义信息。 3. 问题类型设计：CLEGR支持多种问题类型，例如路径查询、关系推理、属性预测等，可以根据需要选择不同的问题类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在CLEGR基准上，现有的GLM模型表现不佳，甚至不如经过软提示的LLM基线。这表明现有GLM模型在结构推理能力方面存在明显不足。此外，实验还发现，GLM在需要进行结构推理的任务中，性能会显著下降，进一步验证了现有GLM模型在多模态推理方面的局限性。

🎯 应用场景

该研究成果可应用于知识图谱问答、推荐系统、药物发现等领域。通过更有效地评估和提升图语言模型的多模态推理能力，可以构建更智能、更可靠的AI系统，从而更好地服务于现实世界的应用场景。未来的研究可以进一步探索更复杂的图结构和推理任务，以及更有效的图-语言融合方法。

📄 摘要（原文）

Developments in Graph-Language Models (GLMs) aim to integrate the structural reasoning capabilities of Graph Neural Networks (GNNs) with the semantic understanding of Large Language Models (LLMs). However, we demonstrate that current evaluation benchmarks for GLMs, which are primarily repurposed node-level classification datasets, are insufficient to assess multimodal reasoning. Our analysis reveals that strong performance on these benchmarks is achievable using unimodal information alone, suggesting that they do not necessitate graph-language integration. To address this evaluation gap, we introduce the CLEGR(Compositional Language-Graph Reasoning) benchmark, designed to evaluate multimodal reasoning at various complexity levels. Our benchmark employs a synthetic graph generation pipeline paired with questions that require joint reasoning over structure and textual semantics. We perform a thorough evaluation of representative GLM architectures and find that soft-prompted LLM baselines perform on par with GLMs that incorporate a full GNN backbone. This result calls into question the architectural necessity of incorporating graph structure into LLMs. We further show that GLMs exhibit significant performance degradation in tasks that require structural reasoning. These findings highlight limitations in the graph reasoning capabilities of current GLMs and provide a foundation for advancing the community toward explicit multimodal reasoning involving graph structure and language.