LLM-SoccerArena: Benchmarking LLMs on Real-World Predictions in Sports

📄 arXiv: 2607.24573v1 📥 PDF

作者: Jonas Schröder, Jonas Schweisthal, Oliver Müller, Markus Weinmann, Stefan Feuerriegel

分类: cs.AI

发布日期: 2026-07-27

💡 一句话要点

提出LLM-SoccerArena以评估LLMs在体育赛事预测中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 体育预测 实时基准 开源平台 因子设计

📋 核心要点

  1. 现有的评估方法通常是静态和回顾性的，无法有效测试LLMs在不确定性下的预测能力。
  2. LLM-SoccerArena提供了一个前瞻性的实时基准，能够记录和评估LLMs对体育赛事的预测。
  3. 在2026年世界杯的评估中，LLMs在网络访问条件下的表现优于无网络访问的模型，提升幅度为0.023的Brier分数。

📝 摘要（中文）

大型语言模型（LLMs）在不确定未来事件的决策支持中越来越重要，但评估其预测真实世界结果的能力仍然困难。现有基准通常是静态和回顾性的，无法测试LLMs如何在不确定性下综合信息以预测未来事件。本文提出LLM-SoccerArena，这是一个前瞻性的实时基准，评估LLMs在结果未知的情况下对真实体育事件的预测能力。该平台提供了一个公开的开源平台和一个因子基准设计，自动记录未解决事件的时间戳预测。通过对2026年世界杯的评估，展示了LLM-SoccerArena的有效性，提供了关于最先进LLMs预测性能的新证据。

🔬 方法详解

问题定义：本文旨在解决现有评估方法无法有效测试LLMs在不确定性下的预测能力的问题。现有基准往往是静态的，无法反映模型在实时预测中的表现。

核心思路：LLM-SoccerArena的核心思路是创建一个前瞻性的实时基准，允许对未解决事件的预测进行动态评估，从而测试LLMs在实际应用中的能力。

技术框架：该平台包括一个公开的开源平台和因子基准设计，能够记录时间戳、模型版本、提示、工具跟踪和成本等信息。因子设计涵盖四个维度：模型版本、信息访问、提示策略和预测时间范围。

关键创新：LLM-SoccerArena的创新在于其前瞻性实时基准的设计，能够动态记录和评估LLMs的预测能力，与传统静态基准形成鲜明对比。

关键设计：在实验中，使用了多种模型版本（如GPT-5.5和Claude Opus 4.8），并通过不同的信息访问和提示策略进行比较，确保了评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对2026年世界杯的评估中，七个LLMs为所有104场比赛和15个赛事相关问题生成了预测。结果显示，具有网络访问的LLMs在Brier分数上比无网络访问的模型提高了0.023，表明信息获取对预测性能的重要性。

🎯 应用场景

LLM-SoccerArena的潜在应用领域包括体育赛事预测、博彩行业、以及任何需要实时决策支持的场景。该平台的开源特性使其能够被广泛应用于未来的国家和国际赛事，推动相关领域的研究和实践发展。

📄 摘要（原文）

Large language models (LLMs) increasingly support decisions about uncertain future events, yet evaluating their ability to forecast real-world outcomes remains difficult. In particular, existing benchmarks are typically static and retrospective, and therefore cannot test how information is synthesized by LLMs to predict future events under uncertainty. We introduce LLM-SoccerArena (https://llm-soccerarena.com), a prospective live benchmark that evaluates how well LLMs forecast real-world sports events before the outcomes are known. LLM-SoccerArena provides (1) a prospective live benchmark protocol, (2) a public open-source platform, and (3) a factorial benchmark design together with tournament-related questions (e.g., which team will win). LLM-SoccerArena automatically records timestamped, schema-validated forecasts of unresolved events, together with prompts, model versions, tool traces, and costs. The factorial design varies along four dimensions: (1) model version (e.g., GPT-5.5, Claude Opus 4.8); (2) information access; (3) prompting strategy, and (4) forecast horizon. We demonstrate LLM-SoccerArena through a large-scale evaluation of the 2026 FIFA World Cup, in which seven LLMs generated forecasts for all 104 matches and 15 tournament-related questions. We provide a detailed analysis of model performance across information access, prompting strategy, and forecast horizon. As a result, LLM-SoccerArena provides new evidence about the forecasting performance of state-of-the-art LLMs. For example, LLMs with web access outperform those without, but only by a small margin (i.e., a 0.023 improvement in Brier score). Overall, LLM-SoccerArena provides a flexible, open-source platform for prospective benchmarking of unresolved events. LLM-SoccerArena will be continuously updated, and can be directly applied to future national and international tournaments and league competitions.