LLMTaxo: Leveraging Large Language Models for Constructing Taxonomy of Factual Claims from Social Media
作者: Haiqi Zhang, Zhengyuan Zhu, Zeyu Zhang, Chengkai Li
分类: cs.CL, cs.AI, cs.SI
发布日期: 2025-04-11 (更新: 2025-10-20)
💡 一句话要点
LLMTaxo：利用大型语言模型构建社交媒体事实性声明分类体系
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 分类体系构建 社交媒体分析 事实性声明 主题生成
📋 核心要点
- 社交媒体内容爆炸式增长，理解和分析在线讨论面临挑战，现有方法难以有效组织和提取信息。
- LLMTaxo框架利用大型语言模型自动构建事实性声明的分类体系，生成多粒度主题，减少冗余，提升信息可访问性。
- 在三个数据集上的实验表明，LLMTaxo能生成清晰、连贯和全面的分类体系，GPT-4o mini表现最佳，框架具有灵活性和低人工干预性。
📝 摘要（中文）
随着社交媒体平台内容的快速扩张，分析和理解在线讨论变得越来越复杂。本文介绍了一种名为LLMTaxo的新框架，该框架利用大型语言模型自动构建社交媒体事实性声明的分类体系，通过生成多个粒度级别的主题来实现。由此产生的层次结构显著减少了冗余并提高了信息可访问性。我们还提出了专门的分类体系评估指标，以实现全面的评估。在三个不同的数据集上进行的评估表明，LLMTaxo在生成清晰、连贯和全面的分类体系方面非常有效。在评估的模型中，GPT-4o mini在大多数指标上始终优于其他模型。该框架的灵活性和对人工干预的低依赖性突显了其广泛适用性的潜力。
🔬 方法详解
问题定义：社交媒体平台充斥着大量信息，如何有效地组织和理解这些信息是一个关键问题。现有的方法在处理大规模、多样化的社交媒体数据时，往往面临信息冗余、结构不清晰以及人工干预过多等问题，难以快速准确地构建出有意义的分类体系。
核心思路：LLMTaxo的核心思路是利用大型语言模型（LLM）强大的文本理解和生成能力，自动地从社交媒体数据中提取主题，并构建多层次的分类体系。通过LLM对事实性声明进行语义分析，识别不同粒度级别的主题，从而实现对信息的有效组织和归纳。
技术框架：LLMTaxo框架主要包含以下几个阶段：1) 数据预处理：对社交媒体数据进行清洗和格式化；2) 主题生成：利用LLM生成不同粒度级别的主题；3) 分类体系构建：将生成的主题组织成层次结构，形成分类体系；4) 分类体系评估：使用专门设计的评估指标对分类体系的质量进行评估。
关键创新：LLMTaxo的关键创新在于其利用LLM自动构建分类体系的能力，以及提出的专门用于评估分类体系质量的指标。与传统方法相比，LLMTaxo减少了人工干预，提高了效率，并且能够生成更具语义一致性和信息覆盖度的分类体系。
关键设计：LLMTaxo的关键设计包括：1) 使用GPT-4o mini等先进的LLM作为主题生成器；2) 设计了多粒度主题生成策略，以适应不同层次的分类需求；3) 提出了包括清晰度、连贯性和全面性等指标的分类体系评估方法；4) 采用迭代优化策略，不断改进分类体系的质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLMTaxo在三个不同的数据集上均表现出良好的性能，能够生成清晰、连贯和全面的分类体系。其中，GPT-4o mini在大多数评估指标上优于其他模型，证明了其在主题生成方面的强大能力。此外，实验还验证了LLMTaxo框架的灵活性和低人工干预性，使其具有广泛的应用潜力。
🎯 应用场景
LLMTaxo可应用于舆情监控、危机管理、市场调研等领域。通过自动构建社交媒体信息的分类体系，帮助用户快速了解公众关注点、识别潜在风险、分析市场趋势。该研究成果有助于提升信息处理效率，为决策提供支持，并促进社交媒体数据的有效利用。
📄 摘要（原文）
With the rapid expansion of content on social media platforms, analyzing and comprehending online discourse has become increasingly complex. This paper introduces LLMTaxo, a novel framework leveraging large language models for the automated construction of taxonomies of factual claims from social media by generating topics at multiple levels of granularity. The resulting hierarchical structure significantly reduces redundancy and improves information accessibility. We also propose dedicated taxonomy evaluation metrics to enable comprehensive assessment. Evaluations conducted on three diverse datasets demonstrate LLMTaxo's effectiveness in producing clear, coherent, and comprehensive taxonomies. Among the evaluated models, GPT-4o mini consistently outperforms others across most metrics. The framework's flexibility and low reliance on manual intervention underscore its potential for broad applicability.