ManiLong-Shot: Interaction-Aware One-Shot Imitation Learning for Long-Horizon Manipulation

📄 arXiv: 2512.16302v1 📥 PDF

作者: Zixuan Chen, Chongkai Gao, Lin Shao, Jieqi Shi, Jing Huo, Yang Gao

分类: cs.RO

发布日期: 2025-12-18

备注: Accepted by AAAI 2026

💡 一句话要点

ManiLong-Shot：交互感知的单样本模仿学习用于长时程操作任务

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 单样本模仿学习 长时程操作 交互感知 原语分解 视觉语言模型 机器人学习 灵巧操作

📋 核心要点

  1. 现有单样本模仿学习方法主要局限于短时程任务，难以应用于复杂的长时程操作任务。
  2. ManiLong-Shot将长时程任务分解为交互感知的原语序列，通过视觉-语言模型或启发式规则驱动原语分解。
  3. 实验表明，ManiLong-Shot在仿真和真实机器人上均表现出优异的泛化能力和鲁棒性，显著提升了长时程操作任务的成功率。

📝 摘要（中文）

本文提出ManiLong-Shot，一个新颖的框架，旨在实现长时程灵巧操作任务的有效单样本模仿学习(OSIL)。ManiLong-Shot围绕物理交互事件构建长时程任务，将问题重新定义为对交互感知原语进行排序，而不是直接模仿连续轨迹。这种原语分解可以由视觉-语言模型(VLM)的高级推理驱动，或者由机器人状态变化推导出的基于规则的启发式方法驱动。对于每个原语，ManiLong-Shot预测对交互至关重要的不变区域，建立演示和当前观察之间的对应关系，并计算目标末端执行器姿势，从而实现有效的任务执行。大量的仿真实验表明，ManiLong-Shot仅在10个短时程任务上训练，即可通过单样本模仿泛化到20个未见过的长时程任务，并在三个难度级别上实现了相对于SOTA方法22.8%的相对改进。此外，真实机器人实验验证了ManiLong-Shot通过OSIL稳健地执行三个长时程操作任务的能力，证实了其在实际应用中的可行性。

🔬 方法详解

问题定义：现有单样本模仿学习(OSIL)方法在长时程操作任务中面临挑战，因为直接模仿连续轨迹难以处理任务的复杂性和长时程依赖关系。这些方法通常需要大量的训练数据或复杂的策略学习过程，限制了其在实际机器人应用中的可行性。因此，如何利用少量样本实现长时程操作任务的有效模仿学习是一个关键问题。

核心思路：ManiLong-Shot的核心思路是将长时程任务分解为一系列交互感知的原语。每个原语代表一个基本的物理交互动作，例如抓取、放置或推动。通过将任务分解为这些更小的、更易于管理的单元，ManiLong-Shot能够更好地捕捉任务的关键步骤和依赖关系，从而提高模仿学习的效率和泛化能力。这种分解允许模型关注于每个交互事件的关键区域和状态变化，而不是直接模仿整个轨迹。

技术框架：ManiLong-Shot的整体框架包括以下几个主要模块：1) 任务分解模块：将长时程任务分解为交互感知的原语序列，可以使用视觉-语言模型(VLM)进行高级推理，或者使用基于规则的启发式方法。2) 原语执行模块：对于每个原语，预测对交互至关重要的不变区域，建立演示和当前观察之间的对应关系，并计算目标末端执行器姿势。3) 控制模块：根据计算出的目标姿势，控制机器人执行相应的动作。整个流程通过迭代执行原语序列，完成长时程任务。

关键创新：ManiLong-Shot的关键创新在于其交互感知的原语分解方法。与直接模仿连续轨迹的方法不同，ManiLong-Shot关注于任务中的物理交互事件，并将任务分解为一系列交互感知的原语。这种分解方法能够更好地捕捉任务的关键步骤和依赖关系，从而提高模仿学习的效率和泛化能力。此外，ManiLong-Shot还利用视觉-语言模型进行高级推理，进一步提高了任务分解的准确性和灵活性。

关键设计：在任务分解模块中，可以使用预训练的视觉-语言模型(VLM)来识别任务中的关键交互事件，并生成相应的原语序列。或者，可以使用基于规则的启发式方法，根据机器人状态的变化来触发不同的原语。在原语执行模块中，可以使用深度学习模型来预测不变区域和目标末端执行器姿势。损失函数可以包括姿势回归损失、对应关系损失等。具体的网络结构和参数设置需要根据具体的任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ManiLong-Shot在仿真实验中，仅使用10个短时程任务进行训练，即可泛化到20个未见过的长时程任务，并在三个难度级别上实现了相对于SOTA方法22.8%的相对改进。在真实机器人实验中，ManiLong-Shot成功地执行了三个长时程操作任务，验证了其在实际应用中的可行性和鲁棒性。这些实验结果表明，ManiLong-Shot是一种有效的长时程操作任务单样本模仿学习方法。

🎯 应用场景

ManiLong-Shot具有广泛的应用前景，例如在家庭服务机器人、工业自动化、医疗辅助机器人等领域。它可以帮助机器人学习各种复杂的长时程操作任务，例如物品整理、装配、手术辅助等。通过单样本模仿学习，ManiLong-Shot可以显著降低机器人学习新技能的成本，提高机器人的智能化水平和适应能力。未来，该技术有望应用于更多领域，实现更智能、更灵活的机器人应用。

📄 摘要（原文）

One-shot imitation learning (OSIL) offers a promising way to teach robots new skills without large-scale data collection. However, current OSIL methods are primarily limited to short-horizon tasks, thus limiting their applicability to complex, long-horizon manipulations. To address this limitation, we propose ManiLong-Shot, a novel framework that enables effective OSIL for long-horizon prehensile manipulation tasks. ManiLong-Shot structures long-horizon tasks around physical interaction events, reframing the problem as sequencing interaction-aware primitives instead of directly imitating continuous trajectories. This primitive decomposition can be driven by high-level reasoning from a vision-language model (VLM) or by rule-based heuristics derived from robot state changes. For each primitive, ManiLong-Shot predicts invariant regions critical to the interaction, establishes correspondences between the demonstration and the current observation, and computes the target end-effector pose, enabling effective task execution. Extensive simulation experiments show that ManiLong-Shot, trained on only 10 short-horizon tasks, generalizes to 20 unseen long-horizon tasks across three difficulty levels via one-shot imitation, achieving a 22.8% relative improvement over the SOTA. Additionally, real-robot experiments validate ManiLong-Shot's ability to robustly execute three long-horizon manipulation tasks via OSIL, confirming its practical applicability.