Do LLMs Learn from Rewards in Context? : Rethinking the role of reward in In-Context Reinforcement Learning

📄 arXiv: 2610.11152v1 📥 PDF

作者: Minchan Kwon, Seunghee Koh, Sunghyun Baek, Minsung Bae, Junmo Kim

分类: cs.LG, cs.CL

发布日期: 2026-10-08

备注: NeurIPS 2026 Spotlight (Negative Results Track)

💡 一句话要点

研究LLM在上下文中如何学习奖励，重新思考奖励在上下文强化学习中的角色

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 上下文学习 强化学习 大型语言模型 智能体设计 轨迹分析

📋 核心要点

  1. 现有的上下文学习方法未能充分验证奖励在学习过程中的实际作用，导致对其有效性的理解不足。
  2. 本文提出直接的上下文强化学习（ICRL）方法，研究奖励是否作为学习信号影响模型性能。
  3. 实验结果表明，奖励的影响微小，模型的性能提升主要依赖于轨迹，而非奖励的语义内容。

📝 摘要（中文）

大型语言模型（LLM）在推理时通过积累上下文经验而非更新参数来逐渐提高性能。本文探讨了上下文强化学习（ICRL）是否能真正发挥强化学习的作用。通过对四个基准和六个模型的控制实验，发现奖励虽然被读取，但其影响微小，改变或移除奖励几乎不影响性能提升曲线。这表明直接的ICRL更应被视为上下文学习的特例，而非推理时的强化学习。这一重新定义对智能体的记忆设计具有重要意义。

🔬 方法详解

问题定义：本文旨在探讨奖励在上下文强化学习中的作用，现有方法未能有效验证奖励对模型学习的影响，导致对ICRL的理解存在局限。

核心思路：通过直接的ICRL方法，模型直接基于原始轨迹-奖励对进行条件化，研究奖励是否能作为有效的学习信号。

技术框架：研究采用了控制实验设计，涉及四个基准和六个不同的模型，重点分析奖励的读取和对性能提升的影响。

关键创新：最重要的创新在于将直接ICRL视为上下文学习的特例，而非传统的推理时强化学习，这一视角的转变为理解模型学习提供了新的思路。

关键设计：实验中对奖励进行了多种处理，包括翻转、随机化和移除，结果显示这些操作对性能曲线几乎没有影响，表明轨迹的顺序和内容对模型提升起到了更重要的作用。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，改变或移除奖励对模型性能提升的影响微乎其微，性能曲线几乎保持不变。这表明，轨迹的顺序和内容在模型学习中起到了更为关键的作用，挑战了传统强化学习的理解。

🎯 应用场景

该研究的潜在应用领域包括智能体设计、自然语言处理和人机交互等。通过更好地理解奖励在上下文学习中的作用，可以优化智能体的记忆和学习策略，提高其在复杂环境中的适应能力和决策效率。

📄 摘要（原文）

LLM agents increasingly improve at inference time by accumulating experience in context rather than by updating parameters. This process is often described as in-context reinforcement learning (ICRL). Whether in-context learning (ICL) can actually play the role of RL, however, has not been tested. We study this question in its simplest form, direct ICRL, where the model conditions directly on raw trajectory-reward pairs, and ask whether the reward acts as a learning signal. Through controlled experiments on four benchmarks across six models, we find that the reward is read, but its effect is small: flipping, randomizing, or removing the reward leaves the improvement curve almost unchanged, and this holds even under meta-prompts that explicitly instruct the model to explore, exploit, or reason over rewards. Trajectories drive improvement, but not through their semantic content: shuffled or corrupted trajectories work as well as real ones. These patterns closely mirror those known in ICL, suggesting that direct ICRL is better understood as a special case of ICL than as inference-time RL. This reframing has implications for agent memory design: ICL factors such as input distribution and demonstrations may matter more than RL elements such as reward shaping and exploration.