Disentangling Similarity and Relatedness in Topic Models

📄 arXiv: 2603.10619v1 📥 PDF

作者: Hanlin Xiao, Mauricio A. Álvarez, Rainer Breitling

分类: cs.CL

发布日期: 2026-03-11

备注: 22 pages, 6 figures, 14 tables

💡 一句话要点

提出一种解耦主题模型中相似性和相关性的方法，用于更细粒度的模型评估和任务预测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主题模型 语义相似性 主题相关性 大型语言模型 模型评估

📋 核心要点

  1. 传统主题模型依赖词共现，而PLM增强模型则倾向于语义相似词聚类，忽略了主题相关性。
  2. 论文提出利用LLM标注构建词对基准，训练神经评分函数，解耦主题模型中的相似性和相关性。
  3. 实验表明，不同模型族捕获不同的语义结构，且相似性和相关性得分能预测下游任务性能。

📝 摘要（中文）

大型语言模型的最新进展推动了将预训练语言模型（PLM）嵌入集成到主题模型中的趋势，从根本上改变了主题捕获语义结构的方式。传统的模型，如潜在狄利克雷分配（LDA），从词语共现统计中推导出主题，而PLM增强的模型将这些统计锚定到预训练的嵌入空间，施加了一种先验，也倾向于语义相似词的聚类。这种结构差异可以通过主题词的心理语言学维度——主题相关性和分类相似性来捕捉。为了在主题模型中解耦这些维度，我们使用基于LLM的标注构建了一个大型合成词对基准来训练神经评分函数。我们将此评分器应用于跨多个语料库和主题模型系列的全面评估，揭示了不同的模型系列在其主题中捕获了不同的语义结构。我们进一步证明，相似性和相关性得分可以根据任务需求成功预测下游任务的性能。本文将相似性和相关性确立为主题模型评估的重要轴，并提供了一个可靠的流程来表征跨模型系列和语料库的这些轴。

🔬 方法详解

问题定义：现有主题模型，特别是那些利用预训练语言模型（PLM）嵌入的模型，倾向于将语义相似的词聚集在一起，而忽略了词语之间的主题相关性。这种现象导致模型无法准确捕捉到主题的完整语义结构，限制了其在下游任务中的表现。因此，需要一种方法来区分和量化主题模型中词语之间的相似性和相关性，以便更全面地评估和改进模型。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语义理解能力，构建一个词对基准数据集，并训练一个神经评分函数，该函数能够区分词对之间的相似性和相关性。通过将这个评分函数应用于不同的主题模型，可以量化每个模型在捕捉相似性和相关性方面的能力，从而更好地理解模型的行为。

技术框架：该方法主要包含以下几个阶段： 1. 基准数据集构建：使用LLM对大量词对进行标注，标注其相似性和相关性得分，构建一个高质量的基准数据集。 2. 神经评分函数训练：使用基准数据集训练一个神经评分函数，该函数能够预测给定词对的相似性和相关性得分。 3. 主题模型评估：将训练好的神经评分函数应用于不同的主题模型，评估每个模型在捕捉相似性和相关性方面的能力。 4. 下游任务预测：利用相似性和相关性得分预测主题模型在下游任务中的表现。

关键创新：该方法最重要的创新点在于，它提供了一种量化主题模型中相似性和相关性的方法。以往的主题模型评估主要关注主题的连贯性和多样性，而忽略了主题词之间的语义关系。该方法通过引入相似性和相关性这两个维度，可以更全面地评估主题模型的性能。

关键设计： 1. LLM标注：使用高质量的LLM（具体模型未知）进行词对标注，确保基准数据集的准确性。 2. 神经评分函数：使用神经网络（具体结构未知）作为评分函数，学习词对的相似性和相关性得分。 3. 评估指标：使用合适的指标（具体指标未知）来量化主题模型在捕捉相似性和相关性方面的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同的主题模型族在捕捉相似性和相关性方面存在显著差异。例如，某些模型更擅长捕捉语义相似性，而另一些模型则更擅长捕捉主题相关性。此外，实验还证明，相似性和相关性得分可以有效地预测主题模型在下游任务中的表现，例如文本分类和信息检索。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于多种场景，例如：改进主题模型的训练和评估，提升信息检索和文本分类的性能，以及更好地理解和利用文本数据中的语义关系。此外，该方法还可以用于评估不同语言模型在语义理解方面的能力，并指导模型的选择和优化。

📄 摘要（原文）

The recent advancement of large language models has spurred a growing trend of integrating pre-trained language model (PLM) embeddings into topic models, fundamentally reshaping how topics capture semantic structure. Classical models such as Latent Dirichlet Allocation (LDA) derive topics from word co-occurrence statistics, whereas PLM-augmented models anchor these statistics to pre-trained embedding spaces, imposing a prior that also favours clustering of semantically similar words. This structural difference can be captured by the psycholinguistic dimensions of thematic relatedness and taxonomic similarity of the topic words. To disentangle these dimensions in topic models, we construct a large synthetic benchmark of word pairs using LLM-based annotation to train a neural scoring function. We apply this scorer to a comprehensive evaluation across multiple corpora and topic model families, revealing that different model families capture distinct semantic structure in their topics. We further demonstrate that similarity and relatedness scores successfully predict downstream task performance depending on task requirements. This paper establishes similarity and relatedness as essential axes for topic model evaluation and provides a reliable pipeline for characterising these across model families and corpora.