POIL: Point-based One-Shot Imitation Learning with Stable Dynamical Systems

📄 arXiv: 2609.30404v1 📥 PDF

作者: Sang Min Kim, Jinwoo Seo, Hyeongjun Heo, Junho Lee, Yonghyeon Lee, Young Min Kim

分类: cs.RO

发布日期: 2026-09-24

备注: 9 pages, 11 figures, project page: https://sangminkim-99.github.io/poil/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出POIL框架以解决一-shot模仿学习中的动态执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 一-shot模仿学习 动态系统 3D点表示 闭环控制 多模态融合 机器人操作 轨迹转移

📋 核心要点

  1. 现有的一-shot模仿学习方法在动态执行和环境变化下表现不佳，难以实现稳健的操作。
  2. POIL框架通过共享3D点表示，结合多模态语言模型，实现了轨迹转移和闭环执行的有效整合。
  3. 实验结果表明，POIL能够在不同物体类别、抓取姿态和目标几何中成功转移示范，并在执行过程中恢复外部干扰。

📝 摘要（中文）

我们提出了POIL，一个基于点的单次模仿学习框架，结合稳定动态系统。单次模仿学习避免了大量示范的收集，但成功的单次操作不仅需要将示范轨迹转移到新物体上，还需在变化的场景条件、抓取配置和外部干扰下稳健执行。POIL通过共享表示来解决这两个问题：在物体功能部件上的一组3D点，联合用于轨迹转移和闭环执行。通过点对应关系实现示范轨迹的单次转移，POIL将共享功能部件与多模态大语言模型结合，能够在视角、姿态和物体类别变化中转移轨迹。在执行过程中，多视角跟踪在线观察相同的点，Point-set BCSDM通过将每个点的速度投影到仅由跟踪点计算的刚体扭转上来驱动它们的闭环执行。我们展示了在目标位置，控制器成为经典SO(3)势能上的梯度流，从而在刚体假设下继承了几乎全局收敛性。

🔬 方法详解

问题定义：论文旨在解决一-shot模仿学习中，如何在动态环境下稳健执行示范轨迹的问题。现有方法往往依赖于大量示范，难以适应环境变化和外部干扰。

核心思路：POIL通过引入共享的3D点表示，结合多模态语言模型，能够在不同视角和物体类别间有效转移轨迹，同时实现闭环控制，增强了执行的稳健性。

技术框架：POIL的整体架构包括三个主要模块：1) 3D点表示的构建与共享；2) 基于点对应关系的轨迹转移；3) 多视角跟踪与闭环控制。每个模块协同工作，确保在执行过程中对环境变化的适应性。

关键创新：POIL的核心创新在于将稳定动态模型扩展到点集，而无需已知的3D模型或姿态估计。这一设计使得系统在执行时能够实时调整，提升了操作的灵活性和稳健性。

关键设计：在技术细节上，POIL采用了基于点的速度投影方法，结合刚体扭转计算，确保了每个点的运动协调性。此外，损失函数设计考虑了轨迹的平滑性和稳定性，优化了控制策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在模拟和真实机器人实验中，POIL成功实现了在不同物体类别、抓取姿态和目标几何下的单次示范转移。实验结果显示，POIL在执行过程中能够有效恢复外部干扰，展示了优越的稳健性和适应性，显著提升了操作成功率。

🎯 应用场景

POIL框架在机器人操作、自动化制造和人机协作等领域具有广泛的应用潜力。其能够在复杂和动态环境中实现高效的模仿学习，将为智能机器人在实际任务中的应用提供重要支持，推动智能制造和服务机器人技术的发展。

📄 摘要（原文）

We present POIL, a point-based one-shot imitation learning framework with stable dynamical systems. While one-shot imitation avoids collecting extensive demonstrations, successful one-shot manipulation requires not only transferring a demonstrated trajectory to a novel object but also executing it robustly under changing scene conditions, grasp configurations, and external disturbances. POIL addresses both problems through a shared representation: a set of 3D points on the object's functional part, used jointly for trajectory transfer and closed-loop execution. The one-shot transfer from the demonstrated trajectory is enabled with point correspondences. POIL grounds the shared functional part with a multi-modal large language model, and transfers the trajectory across viewpoint, pose, and object category changes. During execution, multi-view tracking observes the same points online, and Point-set BCSDM drives them in closed loop by projecting per-point velocities onto a single rigid-body twist computed from the tracked points alone. This extends stable dynamical models from an SE(3) pose to a point set without requiring a known 3D model or pose estimator. We show that at the goal the controller becomes a gradient flow on the classical SO(3) potential, so its terminal phase inherits the almost-global convergence of that potential under a rigid-object assumption. Across simulation and real-robot experiments, POIL transfers a single demonstration across object category, grasp pose, and goal geometry, while recovering from external disturbances during execution. Project page: https://sangminkim-99.github.io/poil