LLMs Can Teach Themselves to Better Predict the Future

📄 arXiv: 2502.05253v1 📥 PDF

作者: Benjamin Turtel, Danny Franklin, Philipp Schoenegger

分类: cs.CL, cs.AI

发布日期: 2025-02-07

💡 一句话要点

提出基于自博弈和直接偏好优化的框架，提升LLM的未来预测能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 未来预测 自博弈 直接偏好优化 微调 结果驱动 无监督学习

📋 核心要点

  1. 现有方法依赖人工标注推理样本，成本高昂且难以覆盖所有场景，限制了LLM预测能力的提升。
  2. 利用模型自博弈生成推理轨迹和预测，并根据预测结果与实际结果的差距进行排序，使用DPO进行微调。
  3. 实验表明，该方法显著提升了Phi-4 14B和DeepSeek-R1 14B的预测准确率，达到甚至超过了更大模型的水平。

📝 摘要（中文）

本文提出了一种结果驱动的微调框架，旨在提升大型语言模型（LLM）的预测能力，而无需依赖人工标注的推理样本。该方法利用模型自博弈生成多样的推理轨迹和概率预测，针对一系列在模型知识截止日期之后才会有结果的问题。然后，根据这些推理轨迹与实际结果的距离对轨迹对进行排序，并通过直接偏好优化（DPO）对模型进行微调。在独立的测试集上，该方法将Phi-4 14B和DeepSeek-R1 14B的预测准确率提高了7-10%，使其预测能力与GPT-4o等更大的前沿模型相媲美。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在预测未来事件方面的能力不足的问题。现有方法通常依赖于人工标注的推理样本进行训练，这既耗时又昂贵，并且难以覆盖所有可能的场景。此外，人工标注的质量也可能存在偏差，影响模型的泛化能力。

核心思路：论文的核心思路是利用模型自身的推理能力，通过自博弈的方式生成多样的推理轨迹和预测结果。然后，根据预测结果与实际结果的差距，对这些推理轨迹进行排序，并使用直接偏好优化（DPO）算法对模型进行微调。这种方法避免了对人工标注数据的依赖，并且能够有效地利用模型自身的知识和推理能力。

技术框架：整体框架包含以下几个主要阶段：1) 问题生成：构建一个包含多样化问题的集合，这些问题需要在模型的知识截止日期之后才能得到解答。2) 自博弈：让模型进行自博弈，生成多对不同的推理轨迹和概率预测。3) 排序：根据推理轨迹的预测结果与实际结果的距离，对推理轨迹对进行排序。4) 微调：使用DPO算法，根据排序结果对模型进行微调，使模型更倾向于生成更准确的预测。

关键创新：最重要的技术创新点在于利用模型自博弈生成训练数据，并结合DPO算法进行微调。这种方法避免了对人工标注数据的依赖，并且能够有效地利用模型自身的知识和推理能力。与传统的监督学习方法相比，该方法更具有可扩展性和泛化能力。

关键设计：在自博弈阶段，需要设计合适的策略来保证生成推理轨迹的多样性。在排序阶段，需要选择合适的距离度量方法来衡量预测结果与实际结果的差距。在使用DPO算法进行微调时，需要调整合适的超参数，以保证模型的收敛性和稳定性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该方法能够显著提升LLM的预测准确率。具体来说，在Phi-4 14B和DeepSeek-R1 14B模型上，预测准确率提升了7-10%，使其预测能力与GPT-4o等更大的前沿模型相媲美。此外，该方法不需要人工标注数据，降低了训练成本。

🎯 应用场景

该研究成果可广泛应用于需要预测未来事件的领域，例如金融市场预测、供应链管理、风险评估、政策制定等。通过提升LLM的预测能力，可以帮助人们更好地理解未来趋势，做出更明智的决策，从而提高效率、降低风险。

📄 摘要（原文）

We present an outcome-driven fine-tuning framework that enhances the forecasting capabilities of large language models (LLMs) without relying on human-curated reasoning samples. Our method leverages model self-play to generate pairs of diverse reasoning trajectories and probabilistic forecasts for a set of diverse questions that resolve after the models' knowledge cutoff date. We then rank pairs of these reasoning traces by their distance to the actual outcomes before fine-tuning the model via Direct Preference Optimization (DPO). On a separate test set, our approach increases prediction accuracy of Phi-4 14B and DeepSeek-R1 14B by between 7--10\% over a base model and a DPO fine-tuned control model with randomized labels, bringing them on par with forecasting capabilities of much larger frontier models like GPT-4o.