MoveBench: A Rubric-Based Benchmark for Evaluating Large Language Models in Sports and Health Coaching
作者: Yitong Li, Jiang Bian, Jingling Wang, Pan Ding, Chengying Gu
分类: cs.AI
发布日期: 2026-10-19
备注: 2 figures. 140 open questions resources: https://github.com/SatoSakula/MoveBench
🔗 代码/项目: GITHUB
💡 一句话要点
提出MoveBench以解决体育与健康领域LLM评估缺乏标准的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 体育教练 健康管理 评估基准 个性化指导 安全性 科学有效性
📋 核心要点
- 现有的通用评估基准无法满足体育和健康领域对安全性和个性化的特定需求，存在较大风险。
- 论文提出MoveBench，针对体育和健康教练设计的综合评估框架，涵盖多种任务格式和结构化评分标准。
- 通过对15种LLMs的评估，发现安全意识和个性化能力存在显著差异，为未来的AI教练系统提供了改进方向。
📝 摘要（中文）
尽管大型语言模型（LLMs）快速发展，但在体育和健康领域的应用仍面临高风险，主要由于缺乏特定领域的评估基准。现有的通用基准（如MMLU和HELM）主要评估广泛的知识和推理能力，但未能捕捉到运动安全、生理适宜性、个性化和可操作的教练质量等关键领域要求。为了解决这一问题，我们提出了MoveBench，这是第一个专门为评估体育和健康教练中的LLMs而设计的综合基准框架。该基准整合了多种任务格式，包括选择题和开放式问答，基于真实用户场景，并配备强调安全合规、科学有效性和训练逻辑的结构化评分标准。通过对15种不同LLMs在809个问题和5012个评分标准上的大规模评估，我们的结果揭示了显著的性能差异，特别是在安全意识、结构化程序设计和个性化能力方面，突显了知识与实践之间的关键差距。我们的工作为体育和健康LLM应用建立了基础评估标准，并提供了一个可重复的框架，以推动安全、可靠和上下文感知的AI驱动教练系统的发展。
🔬 方法详解
问题定义：论文要解决的问题是现有大型语言模型在体育和健康领域缺乏有效的评估标准，导致其应用存在安全隐患和个性化不足等问题。现有方法未能充分考虑领域特定的需求和标准。
核心思路：论文的核心解决思路是设计MoveBench，一个专门针对体育和健康教练的评估框架，整合多种任务格式，以真实用户场景为基础，确保评估的科学性和实用性。
技术框架：MoveBench的整体架构包括多个模块：任务格式模块（选择题和开放式问答）、评分标准模块（安全性、科学有效性、训练逻辑）、以及数据收集与分析模块。通过这些模块的协同作用，形成一个全面的评估体系。
关键创新：最重要的技术创新点在于MoveBench的结构化评分标准，强调安全合规和个性化能力的评估，这与现有通用基准的评估方法有本质区别。
关键设计：在设计中，MoveBench采用了多样化的任务格式和评分标准，确保评估的全面性和针对性，同时在数据收集过程中使用了真实用户场景，以提高评估的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在809个问题和5012个评分标准的评估中，15种不同LLMs的性能差异显著，尤其在安全意识和个性化能力方面，揭示了知识与实践之间的关键差距。这一发现为未来的研究和应用提供了重要的改进方向。
🎯 应用场景
该研究的潜在应用领域包括体育训练、健康管理和个性化健身指导等。通过建立MoveBench评估标准，能够推动AI教练系统的安全性和可靠性，提升用户体验和效果，未来有望在智能健身设备和健康咨询服务中广泛应用。
📄 摘要（原文）
Despite rapid advances in large language models (LLMs), their deployment in the sports and health domain remains high-risk due to the absence of domain-specific evaluation benchmarks. Existing general-purpose benchmarks (e.g., MMLU and HELM) primarily assess broad knowledge and reasoning capabilities, but fail to capture critical domain requirements such as exercise safety, physiological appropriateness, personalization, and actionable coaching quality. This gap is particularly concerning in fitness and health applications, where incorrect or unsafe recommendations can lead to physical harm. To address this limitation, we introduce MoveBench, the first comprehensive benchmarking framework specifically designed for evaluating LLMs in sports and health coaching. The proposed benchmark integrates heterogeneous task formats, including multiple-choice questions (MCQs) and open-ended question answering (OpenQA), grounded in real-world user scenarios and paired with structured rubrics emphasizing safety compliance, scientific validity, and training logic. Through large-scale evaluation of 15 diverse LLMs on 809 questions with 5,012 rubric-level criteria, our results reveal substantial performance variability, particularly in safety awareness, structured program design, and personalization capability, highlighting a critical gap between knowing and doing. Our work establishes a foundational evaluation standard for sports and health LLM applications and provides a reproducible framework for advancing safe, reliable, and context-aware AI-driven coaching systems. Open resources are available at https://github.com/SatoSakula/MoveBench.