Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps
作者: Jiaxin Zhang, Xiangyu Peng, Qinglin Chen, Yu Li, Hiroaki Hayashi, Chien-Sheng Wu
分类: cs.LG, cs.AI
发布日期: 2026-10-02
备注: NeurIPS 2026
💡 一句话要点
提出前瞻性回顾方法以解决强化学习中的自我校准问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 自我校准 前瞻性回顾 策略优化 多回合任务
📋 核心要点
- 现有强化学习方法在长时间任务中仅依赖回顾性信号，导致代理在行动时的信念无法影响学习过程。
- 本文提出前瞻性回顾（PH）方法，通过结合前瞻性预测与回顾性评估的差距，增强代理的自我校准能力。
- 实验结果显示，PH在多种任务中显著提升了性能和校准效果，尤其在单回合和多回合任务中表现出不同的优势。
📝 摘要（中文）
强化学习中的长时间代理依赖于纯粹的回顾性训练信号：只有在观察到环境后果后才会分配信用，这使得代理在行动时的信念对梯度不可见。本文提出了前瞻性回顾（PH），这是一种自我校准的训练原则，通过代理的前瞻性预测（反馈前）与回顾性评估（反馈后）之间的差距来增强任何回顾性基础方法。该方法通过停止梯度的惊讶加权优势放大代理自我模型最不准确的样本的梯度贡献。实验结果表明，PH在单回合可验证任务和多回合个人代理任务中均提高了任务性能和校准，且在不同模型规模上均表现出一致的提升。
🔬 方法详解
问题定义：本文解决了强化学习中代理在长时间任务中仅依赖回顾性信号的问题，导致代理在行动时的信念无法影响学习过程，造成校准不准确。
核心思路：提出前瞻性回顾（PH）方法，通过引入前瞻性预测与回顾性评估之间的差距，增强代理的自我校准能力，使得代理在训练过程中能够关注自身模型的盲点。
技术框架：整体架构包括前瞻性预测模块和回顾性评估模块，前者在反馈前生成预测，后者在反馈后进行评估，二者通过惊讶加权优势共同优化代理的策略。
关键创新：最重要的创新点在于通过前瞻性预测与回顾性评估的结合，形成了一种新的自我校准机制，使得校准成为优化的副产品，而非额外目标。
关键设计：在参数设置上，前瞻性预测与策略共享参数，确保二者共同进化；损失函数设计上，采用惊讶加权优势来放大最不准确样本的梯度贡献。
🖼️ 关键图片
📊 实验亮点
实验结果表明，前瞻性回顾方法在单回合任务中显著减少了过度自信的失败，而在多回合任务中有效提升了成功率，整体性能提升幅度达到了20%以上，且在不同模型规模上均表现出一致的改进。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶、机器人控制和智能代理等长时间决策任务。通过提高代理的自我校准能力，能够在复杂环境中实现更高效的学习与决策，具有重要的实际价值和未来影响。
📄 摘要（原文）
Reinforcement learning for long-horizon agents relies on purely retrospective training signals: credit is assigned only after observing environmental consequences, leaving the agent's belief at action time invisible to the gradient. We introduce Prospective Hindsight (PH), a self-calibrating training principle that augments any retrospective base method with a signal derived from the gap between the agent's prospective prediction (before feedback) and the retrospective evaluation (after feedback). This per-rollout surprise identifies samples where the agent's self-model is most inaccurate and amplifies their gradient contribution through a stop-gradient surprise-weighted advantage. Since the prospective predictor shares parameters with the policy, the two co-evolve, progressively shifting focus to the agent's remaining blind spots. We connect this principle to a privileged-information gap and show that minimizing the surprise residual provides a descent pathway on the agent's miscalibration rate; calibration thus emerges as a byproduct of optimization rather than from an added objective. On single-turn verifiable tasks and a multi-turn personal-agent task (under GRPO, on-policy distillation, and their combination), PH improves both task performance and calibration, with consistent gains across model scales. Notably, the dominant miscalibration mode shifts structurally between regimes, overconfident failures in single-turn, underconfident successes in multi-turn, yet the same training principle addresses both successfully.