Rank, Chunk and Expand: Lineage-Oriented Reasoning for Taxonomy Expansion

📄 arXiv: 2505.13282v4 📥 PDF

作者: Sahil Mishra, Kumar Arjun, Tanmoy Chakraborty

分类: cs.CL

发布日期: 2025-05-19 (更新: 2025-05-31)

备注: Accepted in the Findings of ACL 2025

💡 一句话要点

LORex：提出一种面向谱系的推理框架，用于高效扩展分类体系。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分类体系扩展 知识图谱 谱系推理 判别模型 生成模型

📋 核心要点

  1. 现有分类体系扩展方法在处理大规模候选集时面临噪声干扰和上下文信息不足的挑战。
  2. LORex通过谱系导向的推理，结合判别排序和生成模型，迭代优化候选术语的选择。
  3. 实验结果表明，LORex在准确率和语义相似度上显著优于现有技术，提升幅度可观。

📝 摘要（中文）

分类体系是分层知识图谱，对于推荐系统和Web应用至关重要。随着数据增长，扩展分类体系变得必不可少，但现有方法面临关键挑战：（1）判别模型在表示能力和泛化性方面存在局限；（2）生成模型要么一次性处理所有候选，引入噪声并超出上下文限制，要么通过选择噪声候选而丢弃相关实体。我们提出了LORex（Lineage-Oriented Reasoning for Taxonomy Expansion），一个即插即用的框架，结合了判别排序和生成推理，以实现高效的分类体系扩展。与现有方法不同，LORex将候选术语排序并分批处理，过滤噪声，并通过推理候选的层级结构来迭代地改进选择，从而确保上下文效率。在四个基准数据集和十二个基线模型上的大量实验表明，LORex的准确率比最先进的方法提高了12%，Wu & Palmer相似度提高了5%。

🔬 方法详解

问题定义：论文旨在解决分类体系扩展问题，即如何有效地将新的实体或概念添加到现有的分类体系中。现有方法的痛点在于，判别模型难以处理大规模候选集，泛化能力有限；而生成模型要么一次性处理所有候选，引入大量噪声，要么在选择候选时丢弃相关实体，导致扩展效果不佳。

核心思路：LORex的核心思路是结合判别排序和生成推理，利用谱系信息指导候选术语的选择和验证。首先使用判别模型对候选术语进行排序，然后将排序后的候选术语分批次输入生成模型进行推理，通过迭代的方式逐步扩展分类体系。这种方法既能利用判别模型的排序能力，又能利用生成模型的推理能力，从而提高扩展的准确性和效率。

技术框架：LORex框架主要包含以下几个阶段：1) 候选术语生成：从外部知识库或语料库中提取候选术语。2) 判别排序：使用判别模型对候选术语进行排序，评估其与现有分类体系的匹配程度。3) 分批处理：将排序后的候选术语分成多个批次，每个批次包含一定数量的候选术语。4) 生成推理：使用生成模型对每个批次的候选术语进行推理，判断其是否应该添加到分类体系中，以及应该添加到哪个位置。5) 迭代优化：根据生成模型的推理结果，更新分类体系，并重复上述步骤，直到分类体系达到预期的规模或质量。

关键创新：LORex的关键创新在于其谱系导向的推理方法。通过考虑候选术语与其父节点和子节点之间的关系，LORex能够更准确地判断候选术语的语义和层次结构，从而避免了噪声干扰和信息丢失。此外，LORex的分批处理策略也有效地降低了计算复杂度，使其能够处理更大规模的候选集。与现有方法的本质区别在于，LORex不是简单地使用判别模型或生成模型，而是将两者结合起来，并利用谱系信息进行指导，从而实现了更高效和准确的分类体系扩展。

关键设计：在判别排序阶段，可以使用各种机器学习模型，如支持向量机（SVM）、随机森林（RF）或深度神经网络（DNN）。生成推理阶段，可以使用Transformer等预训练语言模型，并针对分类体系扩展任务进行微调。损失函数可以采用交叉熵损失或对比损失，以鼓励模型学习到候选术语与其父节点和子节点之间的关系。在分批处理时，需要根据计算资源和候选集的大小，合理设置批次大小。此外，还可以引入一些启发式规则，如限制每个节点的子节点数量，以避免分类体系过于复杂。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LORex在四个基准数据集上均取得了显著的性能提升。具体而言，LORex的准确率比最先进的方法提高了12%，Wu & Palmer相似度提高了5%。此外，实验还验证了LORex的分批处理策略的有效性，证明其能够处理更大规模的候选集，并保持较高的扩展效率。

🎯 应用场景

LORex可广泛应用于各种需要分类体系的场景，如电商平台的商品分类、新闻网站的内容分类、知识图谱的构建和维护等。该研究的实际价值在于能够自动扩展分类体系，降低人工维护成本，提高分类体系的准确性和覆盖率。未来，LORex可以进一步应用于跨语言分类体系扩展、个性化分类体系构建等领域。

📄 摘要（原文）

Taxonomies are hierarchical knowledge graphs crucial for recommendation systems, and web applications. As data grows, expanding taxonomies is essential, but existing methods face key challenges: (1) discriminative models struggle with representation limits and generalization, while (2) generative methods either process all candidates at once, introducing noise and exceeding context limits, or discard relevant entities by selecting noisy candidates. We propose LORex (Lineage-Oriented Reasoning for Taxonomy Expansion), a plug-and-play framework that combines discriminative ranking and generative reasoning for efficient taxonomy expansion. Unlike prior methods, LORex ranks and chunks candidate terms into batches, filtering noise and iteratively refining selections by reasoning candidates' hierarchy to ensure contextual efficiency. Extensive experiments across four benchmarks and twelve baselines show that LORex improves accuracy by 12% and Wu & Palmer similarity by 5% over state-of-the-art methods.