AgentGL: Towards Agentic Graph Learning with LLMs via Reinforcement Learning

📄 arXiv: 2604.05846v1 📥 PDF

作者: Yuanfu Sun, Kang Li, Dongzhe Fan, Jiajin Liu, Qiaoyu Tan

分类: cs.CL

发布日期: 2026-04-07

备注: ACL 2026 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

AgentGL：利用强化学习驱动LLM在图结构上进行自主学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图学习 大型语言模型 强化学习 Agentic学习 知识图谱

📋 核心要点

  1. 现有Agentic框架无法有效利用图数据的拓扑结构信息，限制了LLM在复杂关系环境中的推理能力。
  2. AgentGL通过强化学习驱动LLM agent，使其具备图原生工具，实现拓扑感知导航和LLM推理的结合。
  3. 实验表明，AgentGL在节点分类和链接预测任务上显著优于现有GraphLLM和GraphRAG方法，提升显著。

📝 摘要（中文）

大型语言模型（LLM）越来越依赖于agentic能力，如迭代检索、工具使用和决策制定，以克服静态参数化知识的局限性。然而，现有的agentic框架将外部信息视为非结构化文本，未能充分利用真实世界数据中固有的拓扑依赖关系。为了弥合这一差距，我们引入了Agentic Graph Learning（AGL）范式，将图学习重构为拓扑感知导航和基于LLM的推理交错进行的过程。具体而言，我们提出了AgentGL，这是第一个用于AGL的强化学习（RL）驱动框架。AgentGL为LLM agent配备了用于多尺度探索的图原生工具，通过搜索约束思维来调节工具的使用，以平衡准确性和效率，并采用图条件课程RL策略来稳定长程策略学习，而无需逐步监督。在各种文本属性图（TAG）基准和多个LLM骨干网络上，AgentGL显著优于强大的GraphLLM和GraphRAG基线，在节点分类中实现了高达17.5%的绝对改进，在链接预测中实现了高达28.4%的绝对改进。这些结果表明，AGL是使LLM能够自主导航和推理复杂关系环境的有希望的前沿。

🔬 方法详解

问题定义：现有方法在处理图数据时，通常将图结构信息转化为文本，然后输入LLM进行处理，忽略了图的拓扑结构。这种方法无法充分利用图的结构信息，导致LLM在图推理任务上的性能受限。此外，现有的Agentic框架也缺乏对图结构数据的有效处理能力。

核心思路：AgentGL的核心思路是将图学习过程建模为LLM agent在图上的导航和推理过程。通过强化学习训练LLM agent，使其能够自主地探索图结构，并利用图原生工具进行多尺度探索。同时，利用搜索约束思维来平衡准确性和效率，并采用图条件课程学习策略来稳定长程策略学习。

技术框架：AgentGL框架主要包含以下几个模块：1) LLM Agent：负责决策下一步的行动，例如选择哪个节点进行探索，使用哪个工具进行推理。2) 图原生工具：提供了一系列用于图结构数据处理的工具，例如节点选择、子图提取等。3) 强化学习模块：负责训练LLM agent，使其能够更好地利用图结构信息进行推理。4) 搜索约束模块：通过约束搜索空间，平衡准确性和效率。5) 图条件课程学习模块：通过逐步增加任务难度，稳定长程策略学习。

关键创新：AgentGL的关键创新在于将强化学习引入到图学习中，并设计了一系列图原生工具，使得LLM agent能够自主地探索和利用图结构信息。此外，AgentGL还提出了搜索约束思维和图条件课程学习策略，进一步提升了模型的性能和稳定性。与现有方法的本质区别在于，AgentGL能够直接在图结构上进行学习和推理，而不需要将图结构信息转化为文本。

关键设计：AgentGL使用Transformer作为LLM Agent的骨干网络。强化学习采用Actor-Critic框架，Actor网络负责生成动作，Critic网络负责评估动作的价值。损失函数包括Actor损失和Critic损失。图条件课程学习策略通过逐步增加图的复杂度和任务难度来训练Agent。搜索约束模块通过限制Agent的搜索空间来提高效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AgentGL在多个文本属性图（TAG）基准测试中取得了显著的性能提升。在节点分类任务中，AgentGL相比于最强的GraphLLM和GraphRAG基线，实现了高达17.5%的绝对改进。在链接预测任务中，AgentGL实现了高达28.4%的绝对改进。这些结果表明，AgentGL能够有效地利用图结构信息，提升LLM在图推理任务上的性能。

🎯 应用场景

AgentGL具有广泛的应用前景，例如知识图谱推理、社交网络分析、推荐系统、生物信息学等领域。它可以帮助LLM更好地理解和利用复杂的关系数据，从而提升在这些领域的应用效果。未来，AgentGL可以进一步扩展到其他类型的图数据，例如异构图、动态图等，并与其他技术相结合，例如图神经网络、图表示学习等，以实现更强大的图推理能力。

📄 摘要（原文）

Large Language Models (LLMs) increasingly rely on agentic capabilities-iterative retrieval, tool use, and decision-making-to overcome the limits of static, parametric knowledge. Yet existing agentic frameworks treat external information as unstructured text and fail to leverage the topological dependencies inherent in real-world data. To bridge this gap, we introduce Agentic Graph Learning (AGL), a paradigm that reframes graph learning as an interleaved process of topology-aware navigation and LLM-based inference. Specifically, we propose AgentGL, the first reinforcement learning (RL)-driven framework for AGL. AgentGL equips an LLM agent with graph-native tools for multi-scale exploration, regulates tool usage via search-constrained thinking to balance accuracy and efficiency, and employs a graph-conditioned curriculum RL strategy to stabilize long-horizon policy learning without step-wise supervision. Across diverse Text-Attributed Graph (TAG) benchmarks and multiple LLM backbones, AgentGL substantially outperforms strong GraphLLMs and GraphRAG baselines, achieving absolute improvements of up to 17.5% in node classification and 28.4% in link prediction. These results demonstrate that AGL is a promising frontier for enabling LLMs to autonomously navigate and reason over complex relational environments. The code is publicly available at https://github.com/sunyuanfu/AgentGL.