PHAGE: Patent Heterogeneous Attention-Guided Graph Encoder for Representation Learning

📄 arXiv: 2605.10073v1 📥 PDF

作者: Yongmin Yoo, Qiongkai Xu, Zhangkai Wu, Longbing Cao

分类: cs.CL

发布日期: 2026-05-11

💡 一句话要点

提出PHAGE模型，通过异构注意力引导图编码器捕捉专利权利要求间的层级依赖结构

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 专利分析 图神经网络 异构图编码 Transformer优化 对比学习 自然语言处理 归纳偏置

📋 核心要点

  1. 现有专利编码器将权利要求线性化处理，导致专利内部关键的层级依赖结构信息丢失。
  2. PHAGE通过异构图构建分离不同类型的依赖关系，并利用连接掩码与关系偏置将拓扑结构映射至词元级注意力。
  3. 实验证明该方法在分类、检索及聚类任务中表现卓越，验证了专利内拓扑结构作为归纳偏置的有效性。

📝 摘要（中文）

专利权利要求书构成了一种有向依赖结构，其中从属权利要求继承并细化了前序权利要求的范围。然而，现有的专利编码器通常将权利要求线性化为文本，从而丢失了这种层级信息。将该结构直接编码进自注意力机制面临两大挑战：一是权利要求依赖关系混合了语义和可靠性各异的多种关系类型；二是依赖图定义在权利要求层面，而Transformer关注的是词元（token）层面。PHAGE通过确定性的图构建流水线解决了第一个挑战，将确定性法律引用与基于规则的噪声技术关系分离，并作为异构边保留。针对第二个挑战，PHAGE通过连接掩码和可学习的关系感知偏置，将权利要求级的拓扑结构提升至词元级注意力，使编码器能对不同关系类型进行差异化加权。双粒度对比学习目标进一步对齐了专利间分类学与专利内拓扑结构的表示。实验表明，PHAGE在分类、检索和聚类任务上均优于现有基线，证明了专利内权利要求拓扑结构是比专利间结构更强的归纳偏置。

🔬 方法详解

问题定义：现有专利编码模型将权利要求视为平铺的文本序列，忽略了权利要求之间存在的严格层级依赖关系。此外，直接将图结构引入Transformer面临关系异构性（法律引用与技术规则的可靠性差异）及粒度不匹配（图在权利要求级，注意力在词元级）的挑战。

核心思路：PHAGE的核心思想是将专利内部的权利要求依赖关系显式建模为异构图，并通过特定的注意力机制将这种结构约束注入到Transformer的自注意力计算中，从而实现对专利语义的深度表征。

技术框架：该框架包含三个阶段：首先是确定性的异构图构建，将权利要求间的引用关系分类处理；其次是基于连接掩码和关系感知偏置的注意力增强模块，将图结构转化为词元级的注意力权重；最后是双粒度对比学习目标，同时优化专利内部拓扑一致性与外部分类一致性。

关键创新：引入了“拓扑提升”机制，通过可学习的关系偏置，成功解决了图结构与Transformer词元级注意力之间的粒度鸿沟，并利用异构边区分了不同性质的依赖关系。

关键设计：采用连接掩码（Connectivity Mask）限制注意力范围，结合可学习的关系感知偏置（Relation-aware Biases）对不同类型的依赖边进行差异化加权，并设计了双粒度对比损失函数以强化模型对专利结构特征的捕捉能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

PHAGE在多个基准测试中全面超越现有SOTA模型。实验结果显示，在专利分类、检索和聚类任务中，PHAGE均取得了显著的性能提升。研究进一步证实，专利内部的权利要求拓扑结构作为一种归纳偏置，其影响在训练后能够持久地保留在编码器权重中，证明了该结构化建模方法的鲁棒性与有效性。

🎯 应用场景

该研究主要应用于知识产权管理与法律科技领域。其核心价值在于提升专利检索的准确性、专利分类的自动化水平以及专利聚类分析的质量。未来可广泛用于专利侵权分析、技术趋势挖掘及竞争对手专利布局监测，显著降低法律专业人员处理海量专利文档的认知负担。

📄 摘要（原文）

Patent claims form a directed dependency structure in which dependent claims inherit and refine the scope of earlier claims; however, existing patent encoders linearize claims as text and discard this hierarchy. Directly encoding this structure into self-attention poses two challenges: claim dependencies mix relation types that differ in semantics and extraction reliability, and the dependency graph is defined over claims while Transformers attend over tokens. PHAGE addresses the first challenge through a deterministic graph construction pipeline that separates near-deterministic legal citations from noisier rule-based technical relations, preserving type distinctions as heterogeneous edges. It addresses the second through a connectivity mask and learnable relation-aware biases that lift claim-level topology into token-level attention, allowing the encoder to differentially weight each relation type. A dual-granularity contrastive objective then aligns representations with both inter-patent taxonomy and intra-patent topology. PHAGE outperforms all baselines on classification, retrieval, and clustering, showing that intra-document claim topology is a stronger inductive bias than inter-document structure and that this bias persists in the encoder weights after training.