AlphaBet: Reinforcement Learning for LLM Event Forecasting Agents

📄 arXiv: 2610.22684v1 📥 PDF

作者: Liqin Ye, Rongzhi Zhang, Xin Liu, Zheng Li, Yuan He, Qingyu Yin, Priyanka Nigam, Chao Zhang

分类: cs.LG, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出AlphaBet框架以解决LLM事件预测中的证据获取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件预测 强化学习 大型语言模型 证据获取 概率报告 多日期训练 策略优化

📋 核心要点

  1. 现有的LLM预测方法在证据获取上存在不足，通常只在单一时间点使用预先组装的证据，未能有效利用动态信息。
  2. 本文提出的AlphaBet框架通过强化学习训练LLM策略，能够在多个预决策日期上进行证据搜索和概率报告，增强了模型的决策能力。
  3. 实验结果表明，AlphaBet在多个基准数据集上显著降低了Brier分数，验证了多日期训练对信息获取和概率报告的提升效果。

📝 摘要（中文）

预测未解决事件需要找到相关证据并判断其对每个结果的支持力度。然而，现有的大型语言模型（LLM）预测方法通常在单一预测日期上使用预先组装的证据，导致证据获取未纳入学习循环。本文提出了AlphaBet，一个基于强化学习的框架，训练单一LLM策略在多个预决策日期上进行搜索、推理和报告概率。每个日期的预测通过适当的评分规则与最终结果进行评分，从而使一个已解决事件能够在不同信息状态下监督决策。我们将预测遗憾分解为证据获取差距和概率报告差距，并展示了Group Relative Policy Optimization（GRPO）的标准差归一化在多类适当评分下可能扭曲报告目标。实验结果表明，AlphaBet在Forecast-Dojo和FutureX上显著降低了Brier分数，验证了多日期训练的有效性。

🔬 方法详解

问题定义：本文旨在解决现有LLM事件预测中证据获取不足的问题，现有方法通常在单一时间点上使用固定证据，导致预测效果受限。

核心思路：AlphaBet框架通过强化学习训练LLM策略，使其能够在多个时间点上动态获取证据并进行概率报告，从而提高预测的准确性和灵活性。

技术框架：整体架构包括证据搜索模块、推理模块和概率报告模块。模型在多个预决策日期上进行训练，利用适当的评分规则评估预测结果。

关键创新：最重要的创新在于将证据获取纳入学习循环，通过多日期训练使得模型能够在不同信息状态下进行有效决策，克服了传统方法的局限性。

关键设计：采用Group Relative Policy Optimization（GRPO）进行策略优化，设计了适当的损失函数以平衡证据获取和概率报告的目标，同时关注标准差归一化对报告目标的影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，AlphaBet在Forecast-Dojo上将Brier分数从0.731降低至0.626，在FutureX上从0.612降低至0.528，验证了多日期训练的有效性和对信息获取及概率报告的显著提升。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、政治事件分析和自然灾害预警等。通过提高事件预测的准确性，AlphaBet框架能够为决策者提供更可靠的信息支持，进而影响政策制定和资源配置。

📄 摘要（原文）

Forecasting an unresolved event requires finding relevant evidence and deciding how strongly it supports each outcome. Yet outcome-based training of Large Language Model (LLM) forecasters often begins with preassembled evidence at a single prediction date, leaving evidence acquisition outside the learning loop. We introduce AlphaBet, an agentic reinforcement learning (RL) framework that trains a single LLM policy to search, reason, and report probabilities across multiple pre-resolution dates. Each dated forecast is scored by a proper scoring rule against the eventual outcome, allowing one resolved event to supervise decisions under different information states. We decompose forecasting regret into an evidence-acquisition gap and a probability-reporting gap, and show that Group Relative Policy Optimization (GRPO)'s standard-deviation normalization can distort the reporting target under multi-class proper scores. On GLM-4.5-Air, AlphaBet reduces the Brier score from 0.731 to 0.626 on Forecast-Dojo and from 0.612 to 0.528 on FutureX. Controlled ablations attribute these gains to multi-date training and show that they come from improvements in both information acquisition and probability reporting. Our empirical results validate that GRPO's std normalization degrades proper-scoring-rule performance while leaving top-outcome accuracy largely unchanged.