Asymmetric On-Policy Distillation Learns In-Context Exploration

📄 arXiv: 2610.30105v1 📥 PDF

作者: Sriyash Poddar, Yanda Bao, Jacob Krantz, Matthew Chang, Xavier Puig, Roozbeh Mottaghi, Natasha Jaques, Abhishek Gupta

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-10-21

💡 一句话要点

提出ASTEROID框架以解决部分可观测性下的探索问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 部分可观测性 强化学习 模仿学习 探索策略 机器人操作 学生-教师学习 蒸馏训练

📋 核心要点

  1. 现有方法在部分可观测性下的序列决策中面临探索效率低的问题，在线强化学习样本效率差，离线模仿学习无法学习有效的探索行为。
  2. 本文提出ASTEROID框架，通过学生-教师学习机制，利用历史上下文指导学生进行有效的探索，解决了部分可观测性带来的挑战。
  3. 实验结果表明，ASTEROID在固定探索预算下的回报提高了约2倍，交互次数减少了约100倍，并在真实世界的机器人操作中成功率提高了40%。

📝 摘要（中文）

在部分可观测的序列决策中，代理需要探索以推断隐藏的任务相关信息。在线强化学习的样本效率低，而离线模仿学习无法有效学习探索行为。本文提出ASTEROID，一个简单有效的学生-教师监督学习框架，能够学习测试时的探索行为。通过在部分可观测性下收集上下文，学生在专家的指导下学习如何在不确定时进行搜索，并在隐藏状态显现后进行利用。ASTEROID在多种环境中表现优异，显著提高了探索效率，减少了与强化学习基线的交互次数，并在真实世界的机器人操作中展示了良好的迁移能力。

🔬 方法详解

问题定义：本文解决的是在部分可观测性下的序列决策问题，现有的在线强化学习方法样本效率低，而离线模仿学习则无法有效学习探索行为。

核心思路：ASTEROID框架通过学生-教师学习机制，利用历史上下文信息指导学生进行有效的探索，允许学生在不确定时进行搜索，并在隐藏状态显现后进行利用。

技术框架：ASTEROID的整体架构包括学生和专家两个模块。学生在部分可观测性下收集上下文信息，专家根据这些上下文提供动作标签，形成一个循环的学习过程。

关键创新：ASTEROID的主要创新在于通过直接蒸馏专家在学生的上下文历史下的动作，学生能够系统性地解决部分可观测性的问题，这与传统的强化学习方法有本质区别。

关键设计：在设计中，学生的训练依赖于历史上下文的收集，损失函数设计为使学生的动作与专家的动作尽可能一致，网络结构则采用了适应性强的深度学习模型，以提高学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ASTEROID在多种环境中表现出色，固定探索预算下的回报提高约2倍，交互次数减少约100倍，且在真实世界的机器人操作中成功率提高40%，显著优于现有的强化学习基线和前沿模型。

🎯 应用场景

ASTEROID框架具有广泛的应用潜力，特别是在需要高效探索的领域，如机器人操作、自动驾驶和游戏AI等。其有效的探索策略能够显著提高决策系统在复杂环境中的表现，未来可能推动智能体在真实世界中的应用。

📄 摘要（原文）

Sequential decision-making under partial observability is difficult because agents must explore to infer hidden, task-relevant information before acting effectively. Learning such information-gathering behaviors tabula rasa via online reinforcement learning is sample-inefficient, whereas offline imitation averages expert actions across hidden states and fails to learn exploration. In this work, we propose ASTEROID, a simple and effective student--teacher supervised learning framework that can learn test-time exploration. Although a privileged expert never needs to explore, we demonstrate that a history-conditioned student can learn to do so when trained with on-policy contexts: the student first collects on-policy context under partial observability, and the privileged expert provides action labels conditioned on that context. By distilling expert actions directly conditioned on the student's on-policy history, the student learns to systematically resolve partial observability, i.e., search while uncertain and exploit once the hidden state is revealed. This enables efficient test-time exploration (similar to Bayesian posterior sampling) without incurring the impractical training-data costs of reinforcement learning. Across a diverse range of eleven different environments, including discrete exploration benchmarks, robotic manipulation, navigation, and Procgen environments, ASTEROID achieves ~2x higher returns under fixed exploration budgets, uses ~100x fewer interactions than RL baselines, and outperforms frontier models at exploration. Finally, our method transfers policies trained in simulation to vision-denied real-world robot manipulation, exhibiting efficient exploration and increasing success by +40% over standard distillation. Overall, it provides a simple yet surprisingly effective framework to learn efficient test-time exploration.