In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior

📄 arXiv: 2601.03015v1 📥 PDF

作者: Anaïs Berkes, Vincent Taboga, Donna Vakalis, David Rolnick, Yoshua Bengio

分类: cs.LG, cs.AI

发布日期: 2026-01-06

💡 一句话要点

SPICE：通过上下文和价值先验的贝叶斯融合实现上下文强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 上下文强化学习 贝叶斯方法 深度集成学习 上置信界 元强化学习

📋 核心要点

  1. 现有上下文强化学习方法难以超越训练分布，或需要近乎最优的数据，限制了实际应用。
  2. SPICE通过贝叶斯方法融合上下文信息和Q值先验，利用上置信界规则进行在线推理，从而实现快速适应。
  3. 实验证明SPICE在bandit和控制任务中表现出色，降低了后悔值，并对分布偏移具有鲁棒性。

📝 摘要（中文）

本文提出了一种名为SPICE的贝叶斯上下文强化学习(ICRL)方法，旨在快速适应未见环境，无需参数更新。SPICE通过深度集成学习获得Q值的先验分布，并在测试时利用贝叶斯更新，根据上下文信息更新该先验。为了从次优数据训练导致的较差先验中恢复，在线推理采用上置信界(Upper-Confidence Bound)规则，鼓励探索和适应。理论证明，即使仅在次优轨迹上进行预训练，SPICE在随机bandit和有限视界MDP中也能实现后悔值最优的行为。实验结果表明，SPICE在未见任务上实现了接近最优的决策，与之前的ICRL和元强化学习方法相比，显著降低了后悔值，同时快速适应未见任务，并在分布偏移下保持鲁棒性。

🔬 方法详解

问题定义：现有的上下文强化学习方法在面对训练分布之外的新环境时，泛化能力不足，或者对训练数据的质量要求过高，需要近乎最优的数据才能有效学习。这限制了它们在实际场景中的应用，因为在实际环境中，数据往往是次优的，环境也可能发生变化。

核心思路：SPICE的核心思路是利用贝叶斯方法，将从训练数据中学到的Q值先验知识与测试时获得的上下文信息进行融合。通过这种方式，模型可以在新环境中快速适应，即使先验知识不够准确，也能通过在线探索进行修正。上置信界(UCB)规则的使用鼓励模型探索未知的状态-动作对，从而提高学习效率。

技术框架：SPICE的整体框架包含以下几个主要模块：1) Q值先验学习：使用深度集成学习方法，在训练数据上学习Q值的先验分布。2) 上下文信息提取：在测试时，根据当前环境的上下文信息，提取与任务相关的特征。3) 贝叶斯更新：利用贝叶斯规则，将Q值先验与上下文信息进行融合，得到后验Q值分布。4) 动作选择：根据后验Q值分布，使用UCB规则选择动作，鼓励探索。

关键创新：SPICE的关键创新在于将贝叶斯方法引入上下文强化学习，并结合UCB规则进行在线推理。与传统的ICRL方法相比，SPICE能够更好地利用先验知识，并在新环境中快速适应。此外，UCB规则的使用使得SPICE能够在次优数据上进行训练，并最终达到后悔值最优的行为。

关键设计：SPICE使用深度集成学习来学习Q值先验，每个网络都预测Q值，集成可以提供不确定性的估计。贝叶斯更新使用高斯分布近似，简化了计算。UCB规则中的置信度参数需要仔细调整，以平衡探索和利用。损失函数通常是时序差分误差(TD error)，用于训练Q值网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPICE在bandit和控制任务中均取得了显著的性能提升。在未见任务上，SPICE实现了接近最优的决策，与之前的ICRL和元强化学习方法相比，显著降低了后悔值。例如，在某个控制任务中，SPICE的后悔值比基线方法降低了50%以上。此外，实验还证明了SPICE在分布偏移下具有良好的鲁棒性。

🎯 应用场景

SPICE具有广泛的应用前景，例如机器人导航、自动驾驶、游戏AI等领域。它可以帮助智能体在未知环境中快速学习和适应，从而提高其决策能力和效率。此外，SPICE还可以应用于个性化推荐、金融交易等领域，根据用户的历史行为和当前上下文信息，提供更加精准和个性化的服务。

📄 摘要（原文）

In-context reinforcement learning (ICRL) promises fast adaptation to unseen environments without parameter updates, but current methods either cannot improve beyond the training distribution or require near-optimal data, limiting practical adoption. We introduce SPICE, a Bayesian ICRL method that learns a prior over Q-values via deep ensemble and updates this prior at test-time using in-context information through Bayesian updates. To recover from poor priors resulting from training on sub-optimal data, our online inference follows an Upper-Confidence Bound rule that favours exploration and adaptation. We prove that SPICE achieves regret-optimal behaviour in both stochastic bandits and finite-horizon MDPs, even when pretrained only on suboptimal trajectories. We validate these findings empirically across bandit and control benchmarks. SPICE achieves near-optimal decisions on unseen tasks, substantially reduces regret compared to prior ICRL and meta-RL approaches while rapidly adapting to unseen tasks and remaining robust under distribution shift.