LLM-Assisted Topic Reduction for BERTopic on Social Media Data

📄 arXiv: 2509.19365v1 📥 PDF

作者: Wannes Janssens, Matthias Bogaert, Dirk Van den Poel

分类: cs.CL, cs.LG

发布日期: 2025-09-18

备注: 13 pages, 8 figures. To be published in the Post-Workshop proceedings of the ECML PKDD 2025 Conference

💡 一句话要点

提出LLM辅助的BERTopic主题降维方法，提升社交媒体数据主题建模效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: BERTopic 主题建模 大型语言模型 主题降维 社交媒体数据

📋 核心要点

  1. 社交媒体数据噪声大、稀疏，导致BERTopic主题建模产生过多重叠主题，效果不佳。
  2. 利用大型语言模型进行主题降维，合并语义相似的主题，提升主题多样性和一致性。
  3. 实验表明，该方法在Twitter/X数据集上优于基线方法，但受数据集特征和参数影响。

📝 摘要（中文）

BERTopic框架利用Transformer嵌入和层次聚类从非结构化文本语料库中提取潜在主题。然而，它在处理社交媒体数据时面临挑战，因为社交媒体数据通常噪声大且稀疏，导致产生过多的重叠主题。最近的研究探索了使用大型语言模型进行端到端主题建模，但这些方法通常需要大量的计算开销，限制了其在大数据环境中的可扩展性。本文提出了一种结合BERTopic进行主题生成和大型语言模型进行主题降维的框架。该方法首先生成一组初始主题，并构建每个主题的表示。然后，将这些表示作为输入提供给语言模型，语言模型迭代地识别和合并语义相似的主题。我们在三个Twitter/X数据集和四个不同的语言模型上评估了该方法。结果表明，我们的方法在提高主题多样性方面优于基线方法，并且在许多情况下也提高了主题一致性，但对数据集特征和初始参数选择具有一定的敏感性。

🔬 方法详解

问题定义：BERTopic在处理社交媒体数据时，由于数据本身的噪声和稀疏性，容易产生大量冗余和重叠的主题。这些主题不仅难以解释，也降低了主题建模的有效性。现有方法，如直接使用大型语言模型进行端到端主题建模，计算成本过高，难以应用于大规模社交媒体数据。

核心思路：论文的核心思路是将BERTopic和大型语言模型结合起来。首先使用BERTopic生成初始主题，然后利用大型语言模型的语义理解能力，识别并合并语义相似的主题，从而减少主题数量，提高主题的多样性和一致性。这种方法旨在在计算效率和主题质量之间取得平衡。

技术框架：该框架包含两个主要阶段：主题生成和主题降维。在主题生成阶段，使用BERTopic从文本数据中提取初始主题。在主题降维阶段，首先为每个主题构建表示（例如，使用主题关键词的嵌入向量），然后将这些表示输入到大型语言模型中。大型语言模型通过迭代地识别和合并语义相似的主题，最终得到一组更精简、更具代表性的主题。

关键创新：该方法的关键创新在于利用大型语言模型进行主题降维，而不是直接进行端到端的主题建模。这种方法充分利用了BERTopic在主题生成方面的效率，同时借助大型语言模型的语义理解能力来提高主题质量。通过解耦主题生成和降维过程，该方法可以灵活地选择不同的BERTopic参数和大型语言模型，以适应不同的数据集和计算资源。

关键设计：在主题降维阶段，关键的设计包括如何构建主题的表示，以及如何使用大型语言模型来识别和合并相似的主题。论文可能探索了不同的主题表示方法（例如，基于关键词嵌入的平均或加权平均），以及不同的相似度度量方法（例如，余弦相似度）。此外，如何设置合并阈值，以及如何迭代地进行主题合并，也是影响最终结果的关键参数。

📊 实验亮点

实验结果表明，该方法在三个Twitter/X数据集上，使用不同的语言模型，均能有效提高主题多样性。在某些情况下，主题一致性也得到了提升。相较于基线方法，该方法能够生成更少但更具代表性的主题，从而更好地概括社交媒体数据的核心内容。具体提升幅度取决于数据集的特征和初始参数的选择。

🎯 应用场景

该研究成果可应用于社交媒体舆情分析、用户兴趣挖掘、新闻主题分类等领域。通过更准确、更简洁的主题建模，可以更好地理解社交媒体上的信息传播模式、用户行为和热点话题，为企业决策、政策制定和舆论引导提供支持。未来，该方法可以扩展到其他类型的文本数据，如客户评论、在线论坛等。

📄 摘要（原文）

The BERTopic framework leverages transformer embeddings and hierarchical clustering to extract latent topics from unstructured text corpora. While effective, it often struggles with social media data, which tends to be noisy and sparse, resulting in an excessive number of overlapping topics. Recent work explored the use of large language models for end-to-end topic modelling. However, these approaches typically require significant computational overhead, limiting their scalability in big data contexts. In this work, we propose a framework that combines BERTopic for topic generation with large language models for topic reduction. The method first generates an initial set of topics and constructs a representation for each. These representations are then provided as input to the language model, which iteratively identifies and merges semantically similar topics. We evaluate the approach across three Twitter/X datasets and four different language models. Our method outperforms the baseline approach in enhancing topic diversity and, in many cases, coherence, with some sensitivity to dataset characteristics and initial parameter selection.