TopicMerge: A Divide and Conquer Approach to Topic Modeling

📄 arXiv: 2610.19323v1 📥 PDF

作者: Matthew Raffel, Lizhong Chen, Sai Munikoti, Sameera Horawalavithana

分类: cs.CL, cs.LG

发布日期: 2026-10-14

备注: Findings of EMNLP 2026

💡 一句话要点

提出TopicMerge以解决主题建模中的效率与性能问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主题建模 大型语言模型 聚类算法 计算效率 文本挖掘 信息检索

📋 核心要点

  1. 现有的主题建模方法在效率和聚类性能之间存在权衡，嵌入基础方法可扩展性强但聚类效果差，LLM方法则计算开销高且难以扩展。
  2. 论文提出的TopicMerge通过多阶段管道，首先将文档过度细分为微聚类，然后利用LLM进行智能合并，从而实现高效的主题建模。
  3. 实验结果显示，TopicMerge在Bills和Wiki数据集上实现了最先进的聚类性能，同时LLM调用次数减少超过92%，显著提升了效率。

📝 摘要（中文）

近年来，主题建模的发展分为两条主要路径：一种是高效的嵌入基础方法，具备可扩展性但在标准聚类指标上表现不佳；另一种是大型语言模型（LLM）方法，尽管在聚类性能上达到最先进水平，但计算开销巨大且可扩展性差。本文提出了TopicMerge，一种新颖的多阶段管道，旨在将这两种方法结合，以实现最佳的聚类性能和计算效率。TopicMerge首先采用高效的聚类管道，将文档语料库过度细分为大量语义纯净的微聚类，并为其赋予初步语义标签。接着引入一种新颖的迭代合并算法，利用LLM在局部邻域上下文的指导下，对候选对进行合并裁决。这些批准的合并随后被选择性执行，并由LLM重新标记，从而逐步构建更广泛、更连贯的主题。大量实验表明，TopicMerge在聚类性能上达到最先进水平，同时相比于文档级方法减少了92%以上的LLM调用，提供了一种实用且可扩展的解决方案。

🔬 方法详解

问题定义：本文旨在解决主题建模中效率与聚类性能之间的矛盾，现有方法在这两方面存在明显不足，导致实际应用受限。

核心思路：TopicMerge通过将文档语料库过度细分为微聚类，利用LLM进行智能合并，旨在兼顾聚类性能与计算效率。

技术框架：整体流程包括两个主要阶段：首先是高效的聚类管道，将文档分为细粒度的微聚类；其次是迭代合并阶段，使用LLM对候选聚类进行合并和重新标记。

关键创新：最重要的创新在于引入了迭代合并算法，利用局部邻域上下文指导LLM进行合并决策，这一设计显著提升了聚类的连贯性和准确性。

关键设计：在参数设置上，TopicMerge通过控制微聚类的数量和合并的选择性，优化了聚类过程，确保了计算效率和聚类质量的平衡。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TopicMerge在Bills和Wiki数据集上实现了最先进的聚类性能，且相比于传统文档级方法，LLM调用次数减少超过92%。这一显著的效率提升使得TopicMerge成为一种实用的主题建模解决方案。

🎯 应用场景

TopicMerge的研究成果在多个领域具有广泛的应用潜力，包括文本挖掘、社交媒体分析和信息检索等。其高效的主题建模能力能够帮助企业和研究机构更好地理解和组织大规模文本数据，提升信息处理的效率和准确性。未来，该方法可能会推动更多基于LLM的应用发展，促进智能信息系统的进步。

📄 摘要（原文）

Recent advancements in topic modeling have split into two main paths: efficient embedding-based methods that offer scalability but are often outperformed on standard clustering metrics, and Large Language Model (LLM) approaches that achieve state-of-the-art clustering performance but at the cost of prohibitive computational expense and poor scalability. This paper introduces TopicMerge, a novel multi-stage pipeline that bridges these approaches to achieve both state-of-the-art clustering performance and computational efficiency. TopicMerge first employs an efficient clustering pipeline to deliberately over-segment a document corpus into a large set of fine-grained, semantically pure micro-clusters, which are then given initial semantic labels. It then introduces a novel, iterative merging algorithm where an LLM, guided by local neighborhood context, arbitrates on consolidating candidate pairs. These approved merges are then selectively executed and semantically relabeled by the LLM, hierarchically building broader, more coherent topics. Extensive experiments on the Bills and Wiki datasets show that TopicMerge achieves state-of-the-art clustering performance while reducing required LLM calls by over 92% compared to document-level methods, offering a practical and scalable solution.