Demystifying ChatGPT: How It Masters Genre Recognition

📄 arXiv: 2507.03875v1 📥 PDF

作者: Subham Raj, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

分类: cs.CL, cs.AI

发布日期: 2025-07-05

💡 一句话要点

研究揭示ChatGPT在电影类型识别任务中超越其他LLM的卓越能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: ChatGPT 电影类型预测 大型语言模型 视觉语言模型 零样本学习 小样本学习 多模态融合 MovieLens-100K

📋 核心要点

  1. 现有方法在电影类型预测任务中表现不足，特别是对于多类型电影的准确识别构成挑战。
  2. 论文核心在于探索ChatGPT在零样本和小样本设置下的类型预测能力，并结合视觉信息进行增强。
  3. 实验结果表明，ChatGPT在电影类型预测任务中优于其他LLM，微调后性能更佳，VLM的加入进一步提升了效果。

📝 摘要（中文）

ChatGPT的出现引起了自然语言处理领域内外的广泛关注。先前的研究表明，ChatGPT在各种下游NLP任务中取得了显著进展，突显了其适应性和彻底改变语言相关应用的潜力。然而，它在类型预测方面的能力和局限性仍不清楚。本文使用MovieLens-100K数据集分析了三个大型语言模型（LLM），以评估它们的类型预测能力。研究结果表明，未经微调的ChatGPT优于其他LLM，而微调后的ChatGPT表现最佳。我们使用MovieLens-100K数据集中电影预告片的音频记录/字幕设置了零样本和小样本提示，涵盖了1682部电影的18种类型，其中每部电影可以有多种类型。此外，我们通过提取IMDb电影海报来扩展我们的研究，利用视觉语言模型（VLM）来获取海报信息。这种细粒度的信息被用来增强现有的LLM提示。总之，我们的研究揭示了ChatGPT卓越的类型预测能力，超越了其他语言模型。VLM的集成进一步增强了我们的发现，展示了ChatGPT通过整合电影海报中的视觉信息在内容相关应用中的潜力。

🔬 方法详解

问题定义：论文旨在解决电影类型预测问题，特别是利用大型语言模型（LLM）对电影预告片和海报进行分析，从而准确预测电影所属的类型。现有方法在处理多类型电影，以及有效融合文本和视觉信息方面存在不足。传统方法依赖于人工特征工程或较小的模型，难以充分利用大规模预训练模型的潜力。

核心思路：论文的核心思路是利用ChatGPT强大的语言理解和生成能力，直接从电影预告片的文本和海报的视觉信息中推断电影类型。通过设计合适的提示（prompts），引导ChatGPT理解输入信息并生成类型预测结果。同时，结合视觉语言模型（VLM）提取海报中的信息，增强LLM的预测能力。

技术框架：整体框架包括以下几个主要阶段：1) 数据准备：使用MovieLens-100K数据集，包含电影预告片的音频记录/字幕和IMDb电影海报。2) 提示工程：设计零样本和小样本提示，用于引导LLM进行类型预测。3) 模型推理：使用ChatGPT和其他LLM进行类型预测，并评估其性能。4) 视觉信息融合：利用VLM提取海报信息，并将其融入LLM的提示中，进一步提升预测准确率。

关键创新：论文的关键创新在于：1) 探索了ChatGPT在电影类型预测任务中的潜力，证明了其在零样本和小样本设置下的卓越性能。2) 提出了结合视觉语言模型（VLM）增强LLM预测能力的方法，有效融合了文本和视觉信息。3) 通过实验验证了微调ChatGPT可以进一步提升其类型预测准确率。

关键设计：论文的关键设计包括：1) 提示的设计：针对不同的LLM和VLM，设计了不同的提示，以引导模型理解输入信息并生成类型预测结果。2) 数据集的选择：使用MovieLens-100K数据集，该数据集包含丰富的电影信息，包括预告片文本和海报图像。3) 评估指标的选择：使用准确率、召回率和F1值等指标评估模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，未经微调的ChatGPT在电影类型预测任务中优于其他LLM，微调后的ChatGPT表现最佳。通过结合视觉语言模型（VLM）提取海报信息，进一步提升了预测准确率。具体性能数据未知，但研究强调了ChatGPT在类型预测方面的显著优势。

🎯 应用场景

该研究成果可应用于电影推荐系统、内容审核、电影内容理解等领域。通过准确预测电影类型，可以为用户提供更个性化的推荐服务，提高用户满意度。此外，该技术还可以用于自动标注电影类型，提高内容审核的效率。未来，该研究可以扩展到其他类型的内容，如音乐、书籍等。

📄 摘要（原文）

The introduction of ChatGPT has garnered significant attention within the NLP community and beyond. Previous studies have demonstrated ChatGPT's substantial advancements across various downstream NLP tasks, highlighting its adaptability and potential to revolutionize language-related applications. However, its capabilities and limitations in genre prediction remain unclear. This work analyzes three Large Language Models (LLMs) using the MovieLens-100K dataset to assess their genre prediction capabilities. Our findings show that ChatGPT, without fine-tuning, outperformed other LLMs, and fine-tuned ChatGPT performed best overall. We set up zero-shot and few-shot prompts using audio transcripts/subtitles from movie trailers in the MovieLens-100K dataset, covering 1682 movies of 18 genres, where each movie can have multiple genres. Additionally, we extended our study by extracting IMDb movie posters to utilize a Vision Language Model (VLM) with prompts for poster information. This fine-grained information was used to enhance existing LLM prompts. In conclusion, our study reveals ChatGPT's remarkable genre prediction capabilities, surpassing other language models. The integration of VLM further enhances our findings, showcasing ChatGPT's potential for content-related applications by incorporating visual information from movie posters.