Understanding Representations Pretrained with Auxiliary Losses for Embodied Agent Planning

📄 arXiv: 2312.10069v1 📥 PDF

作者: Yuxuan Li, Luca Weihs

分类: cs.RO, cs.CV, cs.LG

发布日期: 2023-12-06

💡 一句话要点

探索性轨迹模仿学习提升具身智能体规划能力，优于其他辅助损失预训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 模仿学习 预训练 辅助损失 规划 探索轨迹 视觉表示

📋 核心要点

  1. 现有方法难以充分利用探索轨迹中的信息，限制了具身智能体在复杂环境中的规划能力。
  2. 论文提出利用探索轨迹上的模仿学习进行预训练，以提升智能体的视觉压缩和状态信念表示，从而增强规划能力。
  3. 实验结果表明，模仿学习优于其他辅助损失，且对辅助损失进行简单修改可以进一步提升规划性能。

📝 摘要（中文）

本文旨在研究，在大规模视觉模型预训练的基础上，利用探索轨迹进行额外的自监督预训练，是否能进一步提升具身智能体在真实环境中的规划能力。研究评估了具身AI中常用的四种辅助损失、两种基于后见的损失以及一种标准的模仿学习损失，通过使用这些目标函数对智能体的视觉压缩模块和状态信念表示进行预训练，并使用CLIP作为代表性的视觉骨干网络。学习到的表示被冻结，用于下游多步评估，任务为两个目标导向型任务。令人惊讶的是，模仿学习在这些探索轨迹上的表现优于所有其他辅助损失，即使探索轨迹与下游任务不同。这表明，模仿探索可能是构建强大规划表示的“全部所需”。此外，研究发现，可以通过简单的修改来改进流行的辅助损失，以更好地支持下游规划能力。

🔬 方法详解

问题定义：现有具身智能体的规划方法通常依赖于大规模视觉模型的预训练表示，但如何进一步利用智能体自身的探索轨迹来提升规划能力是一个挑战。现有的辅助损失函数在利用探索轨迹方面效果有限，无法充分提取有用的信息，导致下游任务性能提升不明显。

核心思路：论文的核心思路是，通过模仿学习探索轨迹，可以有效地学习到支持规划的表示。即使探索轨迹与下游任务存在差异，模仿学习也能提取到通用的规划策略和环境理解，从而提升智能体的泛化能力和规划性能。这种方法侧重于学习行为的因果关系和状态转移，而不是简单地预测未来状态。

技术框架：整体框架包括两个主要阶段：预训练阶段和下游评估阶段。在预训练阶段，使用不同的损失函数（包括模仿学习、辅助损失和基于后见的损失）对智能体的视觉压缩模块和状态信念表示进行预训练。CLIP作为视觉骨干网络。在下游评估阶段，将预训练好的表示冻结，并在两个目标导向型任务上进行多步评估，以评估不同预训练方法的规划能力。

关键创新：最重要的技术创新点在于发现模仿学习在探索轨迹上的预训练效果优于其他辅助损失函数，即使探索轨迹与下游任务不同。这表明模仿学习能够有效地提取通用的规划策略，而其他辅助损失可能更侧重于特定任务或环境的特征。此外，论文还提出了对现有辅助损失进行简单修改以提升规划能力的方法。

关键设计：关键设计包括：1) 使用CLIP作为视觉骨干网络，以利用其强大的视觉表示能力；2) 比较多种不同的损失函数，包括模仿学习、辅助损失（如inverse dynamics, reward prediction, value function prediction, pixel control）和基于后见的损失；3) 在两个不同的目标导向型任务上进行评估，以验证方法的泛化能力；4) 对辅助损失进行简单修改，例如调整损失权重或引入额外的约束，以提升其规划能力。

📊 实验亮点

实验结果表明，在探索轨迹上进行模仿学习的预训练方法，在下游规划任务中优于其他辅助损失函数。具体而言，模仿学习在两个目标导向型任务上均取得了最佳性能，即使探索轨迹与下游任务存在差异。此外，通过对辅助损失进行简单修改，可以进一步提升其规划能力，例如调整损失权重或引入额外的约束。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、游戏AI等领域，提升智能体在复杂环境中的自主规划和决策能力。通过模仿学习探索轨迹，可以使智能体更好地理解环境动态和学习规划策略，从而在未知环境中实现更高效、更鲁棒的导航和任务完成。

📄 摘要（原文）

Pretrained representations from large-scale vision models have boosted the performance of downstream embodied policy learning. We look to understand whether additional self-supervised pretraining on exploration trajectories can build on these general-purpose visual representations to better support embodied planning in realistic environments. We evaluated four common auxiliary losses in embodied AI, two hindsight-based losses, and a standard imitation learning loss, by pretraining the agent's visual compression module and state belief representations with each objective and using CLIP as a representative visual backbone. The learned representations are then frozen for downstream multi-step evaluation on two goal-directed tasks. Surprisingly, we find that imitation learning on these exploration trajectories out-performs all other auxiliary losses even despite the exploration trajectories being dissimilar from the downstream tasks. This suggests that imitation of exploration may be ''all you need'' for building powerful planning representations. Additionally, we find that popular auxiliary losses can benefit from simple modifications to improve their support for downstream planning ability.