Missing Bridges: Composition-Aware Active Imitation Learning

📄 arXiv: 2609.18004v1 📥 PDF

作者: Maxwell J. Jacobson, Ahmed H Qureshi, Yexiang Xue

分类: cs.AI, cs.RO

发布日期: 2026-09-16

💡 一句话要点

提出AALT以解决多任务学习中的示范请求问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 主动模仿学习 多任务学习 机器人学习 示范请求 潜在拓扑 信息增益 任务连通性 自适应代理

📋 核心要点

  1. 现有主动模仿学习方法未能有效利用可重用行为，导致在多任务场景中示范请求的效率低下。
  2. 论文提出的AALT方法通过构建潜在拓扑，优化示范请求以提高起始-目标连通性，从而提升学习效率。
  3. 在UR5e机器人模拟环境中，AALT方法在72个任务中实现了100%的成功率，显著优于基线方法的表现。

📝 摘要（中文）

主动模仿学习通过允许学习者请求所需的示范来减少专家的工作量。现有方法通常基于对专家策略的信息增益选择请求，但在结构化的多任务领域中，起始-目标任务的数量可能呈组合增长，尽管其解决方案共享可重用行为。本文提出的自适应代理通过潜在拓扑（AALT）方法，旨在请求最大化起始-目标连通性预期增益的示范。AALT将现有示范组织成潜在中心状态的拓扑，识别高价值的桥接示范，并在推理时通过拓扑规划，条件扩散策略以实现任务的成功完成。

🔬 方法详解

问题定义：本文旨在解决在结构化多任务领域中，现有主动模仿学习方法未能有效利用共享行为的问题，导致示范请求的效率低下。

核心思路：AALT方法通过构建潜在拓扑，优化示范请求，以最大化起始-目标连通性的预期增益，从而提升学习效率和任务成功率。

技术框架：AALT的整体架构包括三个主要模块：首先，组织现有示范为潜在中心状态的拓扑；其次，识别高价值的桥接示范；最后，在推理阶段通过拓扑进行规划，并基于每个中心状态的转移条件化扩散策略。

关键创新：AALT的核心创新在于其将示范请求与起始-目标连通性预期增益相结合，明确了示范的价值，并通过潜在拓扑的构建实现了高效的任务解决方案。

关键设计：在设计中，AALT使用了特定的损失函数来优化示范请求的选择，并通过学习的行为连接潜在中心状态，确保每个请求的示范都能最大化其对多个任务的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在UR5e机器人模拟环境中，AALT方法在72个任务中实现了100%的成功率，显著提升了任务完成率，而基线方法在20个示范后仅达到88.6%的成功率，显示出AALT在示范请求效率上的显著优势。

🎯 应用场景

该研究在机器人学习和多任务学习领域具有广泛的应用潜力，特别是在需要高效示范请求的场景中，如自动化生产、服务机器人和复杂任务规划等。通过提高学习效率，AALT方法能够加速机器人在新环境中的适应能力，降低专家的参与成本，推动智能系统的自主学习能力。未来，该方法可能在更多复杂的多任务场景中得到应用，进一步提升智能体的学习效果。

📄 摘要（原文）

Active imitation learning reduces expert effort by allowing a learner to request the demonstrations it needs. Existing methods typically select these requests for their expected information gain about the expert policy. In structured multi-task domains, however, the number of start-goal tasks may grow combinatorially despite their solutions sharing reusable behavior. This makes composable behaviors especially valuable, since a single demonstration may help solve many tasks at once. Prior methods do not explicitly account for this value when selecting which demonstration to request. We introduce Adaptive Agents via Latent Topologies (AALT), which requests demonstrations that maximize expected gains in start-goal connectivity. We further show that this objective is formally tied to information gain about task reachability. AALT organizes existing demonstrations into a topology of latent hub states connected by learned behaviors, identifies high-value bridge demonstrations that are likely to enable many tasks at once, and grounds each to an expert query. At inference, it plans through the resulting topology and conditions a diffusion policy on each successive hub transition. In a simulated UR5e robot ordered-retrieval domain with 72 tasks, AALT improved from 42/72 to 72/72 (100%) successful tasks consistently using only 3 demonstrations totaling 5 transitions beyond the initial dataset. After 20 demonstrations, the strongest baseline averaged 88.6% success using 98 transitions.