Unify Graph Learning with Text: Unleashing LLM Potentials for Session Search
作者: Songhao Wu, Quan Tu, Hong Liu, Jia Xu, Zhongyi Liu, Guannan Zhang, Ran Wang, Xiuying Chen, Rui Yan
分类: cs.CV, cs.AI, cs.IR, cs.LG
发布日期: 2025-05-20
💡 一句话要点
提出符号图排序器SGR，利用LLM统一图学习与文本信息，提升会话搜索性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 会话搜索 图学习 大型语言模型 符号表示 自监督学习
📋 核心要点
- 现有会话搜索方法侧重序列建模，忽略了会话交互中的图结构信息，且文档表示泛化，缺乏词级别语义建模。
- 提出符号图排序器SGR，利用符号语法规则将图结构转换为文本，并输入LLM，融合图信息与文本语义。
- 通过链接预测、节点内容生成和生成对比学习等自监督任务，增强LLM捕获图结构信息的能力。在AOL和Tiangong-ST数据集上验证了SGR的优越性。
📝 摘要（中文）
会话搜索涉及一系列交互式查询和操作，以满足用户复杂的的信息需求。现有方法通常优先考虑序列建模以进行深度语义理解，忽略了交互中的图结构。虽然一些方法侧重于捕获结构信息，但它们使用广义的文档表示，忽略了词级别的语义建模。本文提出了符号图排序器（SGR），旨在利用最近的大型语言模型（LLM）的优势，结合基于文本和基于图的方法。具体而言，我们首先引入一组符号语法规则，将会话图转换为文本。这允许将会话历史、交互过程和任务指令无缝地集成作为LLM的输入。此外，考虑到LLM在文本语料库上预训练的自然差异，以及我们使用图到文本语法生成的符号语言，我们的目标是增强LLM捕获文本格式中图结构的能力。为此，我们引入了一组自监督符号学习任务，包括链接预测、节点内容生成和生成对比学习，以使LLM能够从粗粒度到细粒度捕获拓扑信息。在两个基准数据集AOL和Tiangong-ST上的实验结果和综合分析证实了我们方法的优越性。我们的范例还提供了一种新颖而有效的方法，弥合了传统搜索策略和现代LLM之间的差距。
🔬 方法详解
问题定义：会话搜索任务旨在根据用户的一系列交互式查询和操作，准确理解用户的复杂信息需求。现有方法主要存在两个痛点：一是过度依赖序列建模，忽略了会话交互中蕴含的图结构信息；二是即使考虑图结构，也往往使用泛化的文档表示，缺乏对词级别语义信息的建模。
核心思路：论文的核心思路是将图学习与文本信息进行统一，充分利用大型语言模型（LLM）的强大能力。具体来说，通过设计一套符号语法规则，将复杂的会话图结构转换为文本描述，从而能够将图结构信息无缝地融入到LLM的输入中。这样既保留了LLM在文本语义理解方面的优势，又引入了图结构提供的上下文信息。
技术框架：SGR的整体框架包含以下几个主要阶段： 1. 图构建：根据会话历史构建会话图，节点表示查询或文档，边表示交互关系。 2. 图到文本转换：利用预定义的符号语法规则，将构建的会话图转换为文本序列。这些规则将图的节点、边以及它们之间的关系映射为自然语言描述。 3. LLM编码：将转换后的文本序列输入到LLM中，得到会话的向量表示。 4. 排序：使用LLM输出的向量表示，对候选文档进行排序，选择最相关的文档作为搜索结果。 5. 自监督学习：通过自监督学习任务，增强LLM对图结构信息的理解能力。
关键创新：SGR最重要的技术创新在于它提供了一种将图结构信息融入到LLM中的通用方法。与以往方法相比，SGR避免了直接在图上进行嵌入学习，而是通过图到文本的转换，将图结构信息转化为LLM更容易理解的文本形式。此外，自监督学习任务进一步提升了LLM对图结构信息的感知能力。
关键设计： 1. 符号语法规则：设计了一套符号语法规则，用于将图结构转换为文本。这些规则需要能够准确地表达图的拓扑结构和节点内容。 2. 自监督学习任务：设计了三种自监督学习任务：链接预测、节点内容生成和生成对比学习。这些任务旨在从不同粒度上提升LLM对图结构信息的理解能力。 3. 损失函数：使用了交叉熵损失函数进行链接预测和节点内容生成，使用了InfoNCE损失函数进行生成对比学习。
📊 实验亮点
在AOL和Tiangong-ST两个基准数据集上的实验结果表明，SGR方法显著优于现有的会话搜索方法。例如，在AOL数据集上，SGR在Recall@10指标上取得了超过5%的提升。实验结果验证了SGR方法在融合图结构信息和提升会话搜索性能方面的有效性。
🎯 应用场景
SGR方法可应用于各种会话搜索场景，例如电商搜索、问答系统和信息检索等。通过融合图结构信息，SGR能够更准确地理解用户的搜索意图，从而提供更相关的搜索结果。该研究为将LLM应用于图结构数据提供了一种新的思路，具有广阔的应用前景。
📄 摘要（原文）
Session search involves a series of interactive queries and actions to fulfill user's complex information need. Current strategies typically prioritize sequential modeling for deep semantic understanding, overlooking the graph structure in interactions. While some approaches focus on capturing structural information, they use a generalized representation for documents, neglecting the word-level semantic modeling. In this paper, we propose Symbolic Graph Ranker (SGR), which aims to take advantage of both text-based and graph-based approaches by leveraging the power of recent Large Language Models (LLMs). Concretely, we first introduce a set of symbolic grammar rules to convert session graph into text. This allows integrating session history, interaction process, and task instruction seamlessly as inputs for the LLM. Moreover, given the natural discrepancy between LLMs pre-trained on textual corpora, and the symbolic language we produce using our graph-to-text grammar, our objective is to enhance LLMs' ability to capture graph structures within a textual format. To achieve this, we introduce a set of self-supervised symbolic learning tasks including link prediction, node content generation, and generative contrastive learning, to enable LLMs to capture the topological information from coarse-grained to fine-grained. Experiment results and comprehensive analysis on two benchmark datasets, AOL and Tiangong-ST, confirm the superiority of our approach. Our paradigm also offers a novel and effective methodology that bridges the gap between traditional search strategies and modern LLMs.