Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?

📄 arXiv: 2610.23051v1 📥 PDF

作者: Shiguang Wu, Yaqing Wang, Quanming Yao

分类: cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出Agentic ICL以解决固定参数Transformer学习局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 上下文学习 交互学习 因果Transformer 强化学习 决策策略

📋 核心要点

  1. 现有的上下文学习方法依赖于外部提供的上下文或奖励历史，缺乏对学习算法的深入理解。
  2. 论文提出Agentic ICL，通过交互学习的方式，利用状态、更新和决策规则来优化学习过程。
  3. 实验结果表明，Transformer能够在没有预设目标的情况下，通过不同的奖励机制学习到不同的决策策略。

📝 摘要（中文）

本文研究了在上下文学习（ICL）中，固定参数的Transformer如何通过交互学习。我们引入了Agentic In-Context Learning（Agentic ICL）概念，强调语言模型代理通过其行为决定接下来进入上下文的证据。现有研究主要依赖外部上下文或奖励历史，而缺乏学习算法视角。我们通过状态、更新和决策规则来表示交互学习者，涵盖主动学习、赌博机和在线强化学习（RL）。构建的因果Transformer能够在有限时间内近似这些算法，并界定相应的损失。实验表明，Transformer能够学习执行三种代表性的递归，并在没有预设目标的情况下，根据不同的奖励训练模型，结果显示不同奖励产生不同的决策策略。

🔬 方法详解

问题定义：本文旨在解决现有上下文学习方法对外部上下文依赖的问题，缺乏对交互学习过程的系统性理解。

核心思路：提出Agentic ICL，通过交互学习的方式，利用状态、更新和决策规则来优化学习过程，使得模型能够自主决定上下文信息的输入。

技术框架：整体架构包括交互学习者的状态表示、更新机制和决策规则，涵盖主动学习、赌博机和在线强化学习等模块，构建因果Transformer以近似不同学习算法。

关键创新：最重要的创新在于引入了Agentic ICL概念，使得模型能够在交互中自主学习，而非依赖于静态的上下文信息，这与传统方法本质上不同。

关键设计：在模型训练中，优化过程奖励与最终结果最大化行为的对齐是关键设计，损失函数和奖励机制的设置也对学习效果产生重要影响。通过蒸馏实验验证了模型在不同奖励下的决策策略差异。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Transformer在执行三种代表性递归时表现出显著的学习能力，能够在没有预设目标的情况下，通过不同的奖励机制学习到不同的决策策略。这表明模型的决策政策与奖励机制之间存在明显的关联性，提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动化决策支持和人机交互等。通过提升模型的自主学习能力，能够在动态环境中更好地适应用户需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

The learning algorithm view of in-context learning (ICL) studies how fixed-parameter Transformers learn from supplied examples. Language model agents extend this setting through interaction: their actions determine what evidence enters context next. We call this regime Agentic In-Context Learning (Agentic ICL). Existing studies largely depend on externally supplied contexts or reward-bearing interaction histories, while work on general tool-using agents lacks a learning algorithm view. We represent an interactive learner by its state, update, and decision rule, covering active learning, bandits, and online reinforcement learning (RL). For expressivity, we construct causal Transformers that approximate these algorithms over a finite horizon, and bound the resulting loss in return. For training, we characterize when optimizing process rewards preserves behavior that maximizes the final outcome. Distillation experiments show that Transformers can learn to execute three representative recursions. We then train models from outcome or process rewards without oracle action or state targets, as in RL post-training. Different rewards yield distinct decision policies. Improving the alignment of process supervision with outcome-optimal action preferences shifts learned decisions accordingly. Such behavioral differences persist in a pretrained language model across textual paraphrases.