CHAIN: Calibrated LLM Forecasting via Causal-Temporal Hypergraph Inference

📄 arXiv: 2609.36689v1 📥 PDF

作者: Wenjin Liu, Chenxi Wang, Yue Lu, Zhe Cui, Haoran Luo

分类: cs.LG, cs.CL

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出CHAIN以解决大语言模型预测中的校准偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件预测 校准偏差 因果推断 超图推理 大语言模型 机器学习 决策支持

📋 核心要点

  1. 现有的大语言模型在事件预测中存在校准偏差，影响了决策的可信度，尤其是在不同领域和问题类型中表现不均。
  2. 本文提出CHAIN，通过将预测过程分解为三个阶段，设计特定机制以在每个阶段减轻校准偏差。
  3. 实验结果显示，CHAIN在多个跨领域预测基准上超越了现有方法，显著提高了校准精度和预测准确性。

📝 摘要（中文）

大型语言模型在事件预测中取得了显著进展，但其概率输出存在系统性的校准偏差，且在不同领域和问题类型中表现不一，影响了在不确定性下决策的可信度。现有的校准方法通常在预测完成后进行修正，而未能建模预测过程中的偏差结构来源。为了解决这一挑战，本文将因果-时间超图上的概率预测分解为证据加权、证据聚合和源融合三个阶段，并提出CHAIN，设计了针对每个阶段的特定机制以减轻偏差：通过因果拓扑距离调节时间衰减函数、通过方向感知去重后使用Noisy-OR聚合近似独立的因果链、以及通过因果覆盖和方向平衡驱动自适应融合。实验结果表明，CHAIN在预期校准误差、Brier分数和准确性方面优于现有方法。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在事件预测中存在的系统性校准偏差问题。现有方法通常在预测完成后进行校准，未能考虑预测过程中的偏差来源，导致输出结果的可信度降低。

核心思路：论文通过将概率预测过程分解为证据加权、证据聚合和源融合三个阶段，提出CHAIN，旨在通过阶段特定的机制在每个阶段减轻校准偏差，从而提高预测的可靠性。

技术框架：CHAIN的整体架构包括三个主要模块：1) 证据加权，通过因果拓扑距离调节时间衰减函数；2) 证据聚合，使用Noisy-OR聚合近似独立的因果链，并进行方向感知去重；3) 源融合，通过因果覆盖和方向平衡驱动自适应融合。

关键创新：CHAIN的主要创新在于其将预测过程分解为多个阶段，并在每个阶段设计特定的机制来应对校准偏差，这与现有方法的单一后处理校准策略形成了鲜明对比。

关键设计：在设计中，CHAIN使用了因果拓扑距离来调节时间衰减函数，确保了证据加权的有效性；在证据聚合阶段，采用了Noisy-OR模型和方向感知去重策略，以提高聚合的准确性；在源融合阶段，结合因果覆盖和方向平衡，确保了信息融合的自适应性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CHAIN在预期校准误差、Brier分数和准确性方面均显著优于现有方法。在多个跨领域预测基准上，CHAIN的表现提升幅度达到XX%，具体性能数据展示了其在实际应用中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括金融预测、气象预报和医疗决策等需要高可信度概率输出的场景。通过提高事件预测的校准精度，CHAIN能够为决策者提供更可靠的信息支持，进而在不确定性环境中做出更优决策。未来，该方法可能在更多领域得到推广和应用，推动智能决策系统的发展。

📄 摘要（原文）

Large language models have achieved significant progress in event forecasting, yet their probability outputs exhibit systematic calibration bias that varies heterogeneously across different domains and question types, undermining the trustworthiness of probabilistic outputs for decision-making under uncertainty. However, existing calibration methods typically correct probability outputs after prediction is complete, without modeling the structural sources of bias within the prediction process itself. To address this challenge, we decompose probabilistic prediction over causal-temporal hypergraphs into three stages, evidence weighting, evidence aggregation, and source fusion, and propose CHAIN, which designs stage-specific mechanisms to mitigate bias at each stage: (i) modulating the temporal decay function by causal topological distance, (ii) aggregating approximately independent causal chains via Noisy-OR after direction-aware deduplication, and (iii) driving adaptive fusion by causal coverage and directional balance. Experimental results on cross-domain forecasting benchmarks show CHAIN outperforms existing methods in expected calibration error, Brier score, and accuracy. Our project is available at https://github.com/QwenQKing/Chain.