BADGE: BADminton report Generation and Evaluation with LLM

📄 arXiv: 2406.18116v1 📥 PDF

作者: Shang-Hsuan Chiang, Lin-Wei Chao, Kuang-Da Wang, Chih-Chuan Wang, Wen-Chih Peng

分类: cs.CL, cs.AI, cs.HC

发布日期: 2024-06-26

备注: Accepted by IJCAI 2024 Workshop: The 2nd International Workshop on Intelligent Technologies for Precision Sports Science (IT4PSS)

🔗 代码/项目: GITHUB

💡 一句话要点

BADGE：利用大型语言模型自动生成和评估羽毛球比赛报告

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 羽毛球报告生成 报告自动评估 体育赛事报道 自然语言生成

📋 核心要点

  1. 现有羽毛球比赛报告编写耗时，缺乏自动化工具，难以满足快速增长的赛事报道需求。
  2. BADGE框架利用大型语言模型，通过报告生成和评估两个阶段，实现羽毛球比赛报告的自动化生成与质量评估。
  3. 实验结果表明，GPT-4模型在CSV数据输入和思维链提示下表现最佳，且生成的报告更受人类评估员青睐。

📝 摘要（中文）

羽毛球运动普及广泛，比赛报告通常包含球员姓名、比赛比分和球的类型等详细信息，使观众能够全面了解比赛情况。然而，编写这些报告可能非常耗时。为了解决这个问题，我们探索了大型语言模型（LLM）是否可以自动生成和评估羽毛球报告。我们提出了一个名为BADGE的新框架，专门用于此目的。该方法包括报告生成和报告评估两个主要阶段。首先，羽毛球相关数据由LLM处理，然后生成详细的比赛报告。我们测试了不同的输入数据类型、上下文学习（ICL）和LLM，发现GPT-4在使用CSV数据类型和思维链提示时表现最佳。在报告生成之后，LLM评估报告并对其进行评分，以评估其质量。GPT-4评估的分数与人类评估员的分数之间的比较显示，GPT-4生成的报告更受欢迎。由于LLM在羽毛球报告中的应用在很大程度上仍未被探索，因此我们的研究为该领域未来的发展奠定了基础。此外，我们的方法可以扩展到其他体育比赛，从而促进体育推广。

🔬 方法详解

问题定义：论文旨在解决羽毛球比赛报告编写耗时的问题，现有方法主要依赖人工撰写，效率低下且容易出错。缺乏自动化的报告生成和评估工具，无法满足日益增长的赛事报道需求。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成和理解能力，将羽毛球比赛数据转化为高质量的比赛报告，并利用LLM进行报告质量的自动评估。这样可以显著提高报告编写效率，并保证报告的质量。

技术框架：BADGE框架包含两个主要阶段：报告生成和报告评估。在报告生成阶段，首先将羽毛球比赛数据（例如CSV格式）输入到LLM中，然后利用In-Context Learning (ICL)和Chain of Thought prompting等技术，引导LLM生成详细的比赛报告。在报告评估阶段，LLM对生成的报告进行评估和评分，以评估其质量。

关键创新：该论文的关键创新在于将LLM应用于羽毛球比赛报告的自动生成和评估，这是一个相对未被探索的领域。通过实验，论文证明了LLM在体育赛事报道方面的潜力，并为未来的研究奠定了基础。此外，该框架可以扩展到其他体育比赛，具有广泛的应用前景。

关键设计：论文测试了不同的输入数据类型（例如CSV）和In-Context Learning (ICL)策略，发现CSV数据类型和Chain of Thought prompting能够显著提高报告生成的质量。此外，论文还比较了不同LLM（例如GPT-4）的性能，发现GPT-4在羽毛球报告生成和评估方面表现最佳。具体的参数设置和损失函数等技术细节未在摘要中详细说明，需要参考论文全文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4模型在处理CSV格式的羽毛球比赛数据时，结合思维链提示（Chain of Thought prompting）能够生成高质量的比赛报告。GPT-4生成的报告在质量上甚至优于人工撰写的报告，更受人类评估员的青睐，证明了LLM在体育赛事报道领域的巨大潜力。

🎯 应用场景

该研究成果可应用于各类羽毛球赛事报道，自动生成比赛报告，提高赛事报道效率和质量。此外，该方法可扩展至其他体育赛事，例如篮球、足球等，为体育新闻行业提供自动化解决方案，降低人工成本，提升报道时效性，并促进体育赛事的推广和传播。

📄 摘要（原文）

Badminton enjoys widespread popularity, and reports on matches generally include details such as player names, game scores, and ball types, providing audiences with a comprehensive view of the games. However, writing these reports can be a time-consuming task. This challenge led us to explore whether a Large Language Model (LLM) could automate the generation and evaluation of badminton reports. We introduce a novel framework named BADGE, designed for this purpose using LLM. Our method consists of two main phases: Report Generation and Report Evaluation. Initially, badminton-related data is processed by the LLM, which then generates a detailed report of the match. We tested different Input Data Types, In-Context Learning (ICL), and LLM, finding that GPT-4 performs best when using CSV data type and the Chain of Thought prompting. Following report generation, the LLM evaluates and scores the reports to assess their quality. Our comparisons between the scores evaluated by GPT-4 and human judges show a tendency to prefer GPT-4 generated reports. Since the application of LLM in badminton reporting remains largely unexplored, our research serves as a foundational step for future advancements in this area. Moreover, our method can be extended to other sports games, thereby enhancing sports promotion. For more details, please refer to https://github.com/AndyChiangSH/BADGE.