Geometry-aware Policy Imitation
作者: Yiming Li, Nael Darwiche, Amirreza Razmjoo, Sichao Liu, Yilun Du, Auke Ijspeert, Sylvain Calinon
分类: cs.RO
发布日期: 2025-10-09
备注: 21 pages, 13 figures. In submission
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出几何感知策略模仿(GPI)，解决机器人模仿学习中效率和泛化性问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模仿学习 机器人控制 几何学习 距离场 策略学习
📋 核心要点
- 现有模仿学习方法通常效率较低，且难以泛化到复杂任务和高维感知输入，限制了其在机器人领域的应用。
- GPI将专家演示视为几何曲线，通过构建距离场生成进程流和吸引流，从而引导机器人行为，实现高效的策略学习。
- 实验表明，GPI在成功率、运行速度和鲁棒性方面优于基于扩散的策略，为机器人模仿学习提供了一种更优选择。
📝 摘要（中文）
本文提出了一种几何感知策略模仿(GPI)方法，它将模仿学习重新定义为处理几何曲线，而非状态-动作样本集合。GPI从这些曲线中导出距离场，从而产生两个互补的控制原语：一个沿专家轨迹前进的进程流和一个校正偏差的吸引流。它们的组合定义了一个可控的非参数向量场，直接引导机器人行为。这种公式将度量学习与策略综合分离，从而能够在低维机器人状态和高维感知输入之间进行模块化适配。GPI通过将不同的演示保留为单独的模型来自然地支持多模态，并且允许通过简单地添加到距离场来高效地组合新的演示。我们在模拟和真实机器人上对各种任务进行了评估。实验表明，GPI实现了比基于扩散的策略更高的成功率，同时运行速度快20倍，需要的内存更少，并且对扰动保持鲁棒性。这些结果确立了GPI作为机器人模仿学习的一种高效、可解释和可扩展的替代方案。
🔬 方法详解
问题定义：现有的模仿学习方法，特别是基于生成模型的策略学习，通常需要大量的计算资源和训练数据，并且难以保证策略的鲁棒性和泛化能力。尤其是在机器人控制领域，高维感知输入和复杂的任务环境对模仿学习提出了更高的要求。现有方法难以兼顾效率、可解释性和泛化性。
核心思路：GPI的核心思想是将专家演示视为几何曲线，并从中学习一个向量场，该向量场能够引导机器人沿着专家轨迹运动，并纠正偏差。通过将模仿学习问题转化为几何问题，GPI能够有效地利用专家知识，并避免了复杂的策略搜索过程。这种方法将度量学习与策略综合解耦，从而能够灵活地适应不同的机器人状态和感知输入。
技术框架：GPI的整体框架包括以下几个主要步骤：1) 从专家演示中提取几何曲线；2) 基于几何曲线构建距离场；3) 从距离场中导出进程流和吸引流；4) 将进程流和吸引流组合成一个控制向量场，用于引导机器人运动。进程流负责沿着专家轨迹前进，而吸引流负责纠正机器人与轨迹之间的偏差。
关键创新：GPI最重要的技术创新在于将模仿学习问题转化为几何问题，并利用距离场来表示专家知识。这种方法避免了直接学习复杂的策略函数，而是通过学习一个简单的向量场来引导机器人行为。此外，GPI还能够自然地支持多模态演示，并通过简单地添加新的演示到距离场中来实现策略的组合。
关键设计：GPI的关键设计包括：1) 使用高斯混合模型(GMM)来表示专家轨迹，并从中提取几何曲线；2) 使用欧几里得距离来构建距离场；3) 使用梯度下降法来计算进程流和吸引流；4) 使用加权平均法将进程流和吸引流组合成一个控制向量场。具体的权重参数需要根据任务进行调整，以平衡轨迹跟踪和偏差纠正之间的关系。
📊 实验亮点
实验结果表明，GPI在模拟和真实机器人上的各种任务中均取得了显著的性能提升。与基于扩散的策略相比，GPI实现了更高的成功率，同时运行速度提高了20倍，需要的内存更少，并且对扰动具有更强的鲁棒性。例如，在某项机器人操作任务中，GPI的成功率达到了95%，而基于扩散的策略仅为75%。
🎯 应用场景
GPI具有广泛的应用前景，可用于各种机器人模仿学习任务，例如：工业机器人装配、服务机器人导航、医疗机器人手术等。该方法能够有效地利用专家知识，提高机器人控制的效率和鲁棒性，并降低开发成本。未来，GPI有望成为机器人自主学习的重要组成部分。
📄 摘要（原文）
We propose a Geometry-aware Policy Imitation (GPI) approach that rethinks imitation learning by treating demonstrations as geometric curves rather than collections of state-action samples. From these curves, GPI derives distance fields that give rise to two complementary control primitives: a progression flow that advances along expert trajectories and an attraction flow that corrects deviations. Their combination defines a controllable, non-parametric vector field that directly guides robot behavior. This formulation decouples metric learning from policy synthesis, enabling modular adaptation across low-dimensional robot states and high-dimensional perceptual inputs. GPI naturally supports multimodality by preserving distinct demonstrations as separate models and allows efficient composition of new demonstrations through simple additions to the distance field. We evaluate GPI in simulation and on real robots across diverse tasks. Experiments show that GPI achieves higher success rates than diffusion-based policies while running 20 times faster, requiring less memory, and remaining robust to perturbations. These results establish GPI as an efficient, interpretable, and scalable alternative to generative approaches for robotic imitation learning. Project website: https://yimingli1998.github.io/projects/GPI/