Convergence and Emergence of In-Context Reinforcement Learning with Chain of Thought

📄 arXiv: 2605.07123v1 📥 PDF

作者: Zixuan Xie, Xinyu Liu, Rohan Chandra, Shangtong Zhang

分类: cs.LG

发布日期: 2026-05-08

💡 一句话要点

揭示思维链（CoT）在上下文强化学习（ICRL）中的收敛机制与涌现原理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文强化学习 思维链 线性Transformer 时序差分学习 理论机器学习 策略评估

📋 核心要点

  1. 现有研究多关注CoT在ICRL中的实证表现，缺乏对其如何提升学习效率及收敛行为的深层理论解释。
  2. 论文通过线性Transformer建模，揭示了CoT生成过程与时序差分学习（TD Learning）之间的数学等价性。
  3. 理论分析表明，CoT长度与策略评估误差呈几何衰减关系，且特定Transformer参数可作为预训练的全局最优解。

📝 摘要（中文）

上下文强化学习（ICRL）指智能体在推理阶段无需参数更新，仅通过上下文信息即可适应新任务的能力。近期实证研究表明，思维链（CoT）生成能显著增强ICRL能力。本文首次从理论层面探讨了CoT与ICRL的交互机制。我们在线性Transformer的策略评估框架下进行分析，证明了在特定参数设置下，CoT生成过程等价于重复执行时序差分（TD）学习更新。此外，我们提供了有限样本收敛性分析，证明策略评估误差随CoT长度呈几何级数下降，并最终收敛至由上下文长度决定的统计下界。同时，本文证明了目标Transformer参数是预训练损失的全局极小值点，为这些参数的涌现提供了理论支撑。

🔬 方法详解

问题定义：论文旨在解决ICRL中“思维链如何提升学习性能”这一黑盒问题。现有方法在处理复杂任务时，仅依赖上下文往往难以高效收敛，且缺乏对Transformer内部动态演化过程的理论刻画。

核心思路：将CoT生成过程映射为经典的强化学习算法迭代。通过分析线性Transformer的注意力机制，证明其在特定权重配置下，能够模拟时序差分学习的更新步骤，从而实现推理时的策略优化。

技术框架：研究基于线性Transformer架构，在策略评估任务中构建了CoT生成序列。模型通过将历史轨迹与中间推理步骤（CoT）作为输入，利用注意力机制动态更新状态价值估计，从而在不更新模型参数的情况下实现任务适应。

关键创新：首次在理论上建立了CoT与TD学习的等价性映射。证明了Transformer的注意力层可以执行类似梯度下降或TD更新的算子，解释了为何增加CoT长度能持续降低评估误差。

关键设计：利用线性Transformer的权重矩阵作为TD学习的算子，通过理论推导确定了使得预训练损失最小化的参数空间，并给出了策略评估误差随CoT长度增长的几何收敛速率界限。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验与理论分析表明，策略评估误差随CoT长度的增加呈几何级数下降，验证了CoT作为一种“推理时学习”机制的有效性。研究证明了特定Transformer参数是预训练损失的全局极小值，解释了模型在预训练后为何能涌现出执行TD更新的能力，为理解大模型推理行为提供了严谨的数学依据。

🎯 应用场景

该研究为大语言模型在复杂决策任务中的应用提供了理论基石。其价值在于指导如何设计更高效的提示词工程（Prompt Engineering）与思维链生成策略，特别是在机器人控制、自动化决策及需要多步推理的复杂任务中，能够显著提升智能体在零样本或少样本场景下的适应能力与决策精度。

📄 摘要（原文）

In-context reinforcement learning (ICRL) refers to the ability of RL agents to adapt to new tasks at inference time without parameter updates by conditioning on additional context. Recent empirical studies further demonstrate that Chain-of-Thought (CoT) generation can amplify this ICRL capability. This paper is the first to provide a theoretical understanding on how CoT interacts with ICRL. We conduct our analysis in a policy evaluation setup with linear Transformer. We prove that with specific Transformer parameters, the CoT generation process is equivalent to repeatedly executing temporal difference learning updates. Additionally, we provide finite sample convergence analysis showing that the policy evaluation error decreases geometrically with CoT length and eventually saturates at a statistical floor determined by the context length. We also prove that the desired Transformer parameters are a global minimizer of the pretraining loss, providing a theoretical understanding on the empirical emergence of those parameters.