S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs

📄 arXiv: 2605.18579v1 📥 PDF

作者: Yuhan Wang, Haopeng Zhang, Yibo Ding, Jiaqi Yu, Xinyu Zhao, Yuhang Liu, Ziwei Zhang, Xiao Wang, Ruijie Wang

分类: cs.LG

发布日期: 2026-05-18

备注: 19 pages

💡 一句话要点

S2Aligner：面向稀疏文本属性图的高效可迁移预训练模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 文本属性图 预训练 稀疏数据 跨域学习 LLM-as-Aligner 结构学习

📋 核心要点

  1. 现有基于LLM的图文对齐方法在稀疏文本属性图上表现不佳，因为它们依赖于节点文本提供充分的监督，而现实中文本往往缺失或不可靠。
  2. S2Aligner通过解耦语义对齐和结构建模，利用拓扑结构信息增强语义对齐，同时抑制文本稀疏带来的噪声，从而提升预训练效果。
  3. 实验结果表明，S2Aligner在各种图域和下游任务上均优于现有基线，证明了其在稀疏文本属性图上的有效性和泛化能力。

📝 摘要（中文）

本文提出S2Aligner，一个稀疏感知和结构增强的LLM-as-Aligner框架，用于稀疏文本属性图（TAGs）上的图文预训练。现有方法通常假设节点文本提供充分可靠的监督，但在现实世界的稀疏TAGs中，这一假设常常不成立。S2Aligner的关键思想是将语义对齐与结构建模解耦，允许拓扑感知信号增强对齐，而不会污染共享语义空间。具体而言，S2Aligner将图文表示分解为语义和结构组件，使用结构导向的重构和一致性控制将可靠的拓扑线索注入文本表示，并抑制文本稀疏情况下的不一致结构信号。此外，S2Aligner引入了稀疏感知的跨域风险平衡，通过全局域密度比校准域风险，并通过图可靠性估计降低不可靠的稀疏样本的权重。理论分析表明，该目标通过控制域风险差异来减少跨域泛化差距。在各种图域、稀疏程度和下游任务上的大量实验表明，S2Aligner始终优于现有基线。

🔬 方法详解

问题定义：现有基于LLM的图文对齐方法在处理稀疏文本属性图时面临挑战。这些方法依赖于节点文本作为语义对齐的监督信号，但在实际应用中，节点文本可能缺失、噪声较大或在不同领域分布不均。这导致结构和语义之间的对应关系不可靠，并产生由稀疏性引起的迁移偏差。

核心思路：S2Aligner的核心思想是将语义对齐与结构建模解耦。通过这种方式，模型可以利用图的拓扑结构信息来增强语义对齐，而不会因为文本的稀疏性而污染共享的语义空间。同时，模型需要能够识别并抑制由不可靠文本带来的结构信号。

技术框架：S2Aligner框架主要包含以下几个模块：1) 图文表示分解：将图和文本表示分解为语义和结构组件。2) 结构导向的重构：利用图结构信息重构文本表示，并将拓扑线索注入文本表示。3) 一致性控制：确保重构后的文本表示与原始文本表示在语义上保持一致。4) 稀疏感知的跨域风险平衡：通过全局域密度比校准域风险，并降低不可靠的稀疏样本的权重。

关键创新：S2Aligner的关键创新在于其稀疏感知和结构增强的对齐策略。与现有方法不同，S2Aligner不依赖于完整的文本信息，而是利用图结构信息来增强语义对齐，并抑制文本稀疏带来的噪声。此外，S2Aligner还引入了稀疏感知的跨域风险平衡，以减少跨域泛化差距。

关键设计：S2Aligner的关键设计包括：1) 使用图神经网络（GNN）提取图结构信息。2) 设计结构导向的重构损失函数，鼓励模型利用图结构信息重构文本表示。3) 设计一致性损失函数，确保重构后的文本表示与原始文本表示在语义上保持一致。4) 使用全局域密度比来校准域风险，并使用图可靠性估计来降低不可靠的稀疏样本的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，S2Aligner在多个图数据集上显著优于现有基线方法。例如，在某些数据集上，S2Aligner的性能提升超过5%。此外，S2Aligner在不同稀疏程度和下游任务上均表现出良好的泛化能力，证明了其在稀疏文本属性图上的有效性和鲁棒性。

🎯 应用场景

S2Aligner可应用于各种涉及稀疏文本属性图的场景，例如社交网络分析、知识图谱补全、推荐系统和生物信息学。该模型能够有效利用图结构信息，提升在文本信息不完整或不可靠情况下的性能，具有重要的实际应用价值和潜力。

📄 摘要（原文）

Pre-training on text-attributed graphs (TAGs) is central to building transferable graph foundation models, where LLM-as-Aligner methods align graph and text representations through the semantic knowledge of large language models. However, these methods usually assume that node texts provide sufficient and reliable supervision, an assumption often violated in real-world sparse TAGs. When textual anchors are missing, noisy, or uneven across domains, graph structures must be aligned with weak semantic evidence, leading to unreliable structure-semantics correspondence and sparsity-induced transfer bias. This paper presents S2Aligner, a sparsity-aware and structure-enhanced LLM-as-Aligner framework for graph-text pre-training on sparse TAGs. The key idea is to decouple semantic alignment from structural modeling, allowing topology-aware signals to enhance alignment without contaminating the shared semantic space. Specifically, S2Aligner decomposes graph-text representations into semantic and structural components, uses structure-oriented reconstruction with consistency control to inject reliable topology cues into text representations, and suppresses inconsistent structural signals under textual sparsity. Moreover, S2Aligner introduces sparsity-aware cross-domain risk balancing, which calibrates domain risks through a global-domain density ratio and downweights unreliable sparse samples via graph reliability estimation. Theoretical analysis shows that this objective reduces cross-domain generalization gaps by controlling domain risk discrepancy. Extensive experiments across diverse graph domains, sparsity levels, and downstream tasks demonstrate that S2Aligner consistently outperforms existing baselines.