RIGHT: Retrieval-augmented Generation for Mainstream Hashtag Recommendation
作者: Run-Ze Fan, Yixing Fan, Jiangui Chen, Jiafeng Guo, Ruqing Zhang, Xueqi Cheng
分类: cs.CL, cs.AI, cs.IR
发布日期: 2023-12-16
备注: Accepted by ECIR2024 full paper
💡 一句话要点
提出RIGHT模型，利用检索增强生成方法解决主流话题标签推荐难题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 话题标签推荐 检索增强生成 社交媒体 自然语言处理 信息检索
📋 核心要点
- 现有主流话题标签推荐方法难以兼顾对新话题的理解和对主流标签的准确识别，检索方法无法捕捉最新信息，生成方法缺乏对主流性的考量。
- RIGHT模型采用检索增强生成框架，结合检索模块获取相关标签，选择模块增强主流标签识别，生成模块最终生成推荐标签。
- 实验结果表明，RIGHT模型在主流话题标签推荐任务上显著优于现有方法，并能有效提升大型语言模型（如ChatGPT）的性能。
📝 摘要（中文）
本文旨在解决自动主流话题标签推荐问题，即在用户发布内容前，准确地为其提供简洁且流行的主题标签。主流话题标签推荐面临着新发布推文对新话题的理解难度，以及在语义正确性之外准确识别主流标签的挑战。以往基于检索的方法擅长生成主流标签，但难以理解最新的信息流；而基于生成的方法能更好地理解新推文，但识别主流标签的能力受限。受检索增强技术的启发，本文提出RetrIeval-augmented Generative Mainstream HashTag Recommender (RIGHT)模型，结合两者的优势。RIGHT包含三个模块：检索器从整个推文-标签集中寻找相关标签；选择器通过引入全局信号增强主流标签的识别；生成器结合输入推文和选择的标签，直接生成期望的标签。实验结果表明，该方法显著优于现有最佳方法，并且可以轻松集成到大型语言模型中，使ChatGPT的性能提高10%以上。
🔬 方法详解
问题定义：论文旨在解决主流话题标签推荐问题，即为新发布的推文推荐合适的、流行的hashtag。现有方法，如纯检索方法无法有效处理不断涌现的新话题，而纯生成方法则难以保证生成hashtag的流行度和主流性。因此，如何既能理解推文内容，又能准确推荐主流hashtag是本研究要解决的核心问题。
核心思路：论文的核心思路是结合检索和生成两种方法的优势，利用检索增强生成（Retrieval-Augmented Generation, RAG）框架。检索模块负责从海量数据中找到与推文相关的hashtag，生成模块则负责根据推文内容和检索到的hashtag生成最终的推荐结果。这样既能利用检索模块的知识库，又能发挥生成模块的理解能力。
技术框架：RIGHT模型包含三个主要模块：1) 检索器（Retriever）：从整个推文-hashtag数据集中检索与输入推文相关的hashtag。2) 选择器（Selector）：对检索到的hashtag进行筛选，选择更符合主流趋势的hashtag。3) 生成器（Generator）：结合输入推文和选择器选择的hashtag，生成最终的推荐hashtag列表。整个流程是先检索，再选择，最后生成。
关键创新：RIGHT模型的关键创新在于将检索增强生成框架应用于主流话题标签推荐任务，并设计了专门的选择器模块来增强对主流标签的识别。与传统的检索或生成方法相比，RIGHT模型能够更好地平衡对推文内容的理解和对hashtag流行度的把握。
关键设计：检索器可以使用各种信息检索技术，例如基于向量相似度的检索。选择器可以利用全局信息，例如hashtag的流行度、共现关系等，来对检索到的hashtag进行排序和筛选。生成器可以使用序列到序列模型，例如Transformer，来生成最终的推荐hashtag列表。损失函数可以采用交叉熵损失或类似的序列生成损失函数。
📊 实验亮点
实验结果表明，RIGHT模型在主流话题标签推荐任务上取得了显著的性能提升，超越了现有的最佳方法。具体而言，RIGHT模型在多个评价指标上均有明显提升，并且能够有效提升大型语言模型（如ChatGPT）在该任务上的性能，提升幅度超过10%。
🎯 应用场景
该研究成果可广泛应用于社交媒体平台，例如Twitter、微博等，帮助用户更方便地添加合适的hashtag，提高内容曝光度和互动性。此外，该技术还可应用于新闻推荐、商品推荐等领域，提升推荐系统的准确性和用户体验，具有重要的商业价值和社会意义。
📄 摘要（原文）
Automatic mainstream hashtag recommendation aims to accurately provide users with concise and popular topical hashtags before publication. Generally, mainstream hashtag recommendation faces challenges in the comprehensive difficulty of newly posted tweets in response to new topics, and the accurate identification of mainstream hashtags beyond semantic correctness. However, previous retrieval-based methods based on a fixed predefined mainstream hashtag list excel in producing mainstream hashtags, but fail to understand the constant flow of up-to-date information. Conversely, generation-based methods demonstrate a superior ability to comprehend newly posted tweets, but their capacity is constrained to identifying mainstream hashtags without additional features. Inspired by the recent success of the retrieval-augmented technique, in this work, we attempt to adopt this framework to combine the advantages of both approaches. Meantime, with the help of the generator component, we could rethink how to further improve the quality of the retriever component at a low cost. Therefore, we propose RetrIeval-augmented Generative Mainstream HashTag Recommender (RIGHT), which consists of three components: 1) a retriever seeks relevant hashtags from the entire tweet-hashtags set; 2) a selector enhances mainstream identification by introducing global signals; and 3) a generator incorporates input tweets and selected hashtags to directly generate the desired hashtags. The experimental results show that our method achieves significant improvements over state-of-the-art baselines. Moreover, RIGHT can be easily integrated into large language models, improving the performance of ChatGPT by more than 10%.