ISS Policy : Scalable Diffusion Policy with Implicit Scene Supervision

📄 arXiv: 2512.15020v1 📥 PDF

作者: Wenlong Xia, Jinhao Zhang, Ce Zhang, Yaojia Wang, Youmin Gong, Jie Mei

分类: cs.RO

发布日期: 2025-12-17

💡 一句话要点

提出基于隐式场景监督的可扩展扩散策略，提升机器人操作任务的泛化性和训练效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 模仿学习 扩散模型 隐式场景监督 3D视觉 DiT 泛化性 鲁棒性

📋 核心要点

  1. 现有基于视觉的模仿学习依赖物体外观，忽略3D场景结构，导致训练效率低和泛化性差。
  2. 提出隐式场景监督（ISS）策略，通过DiT架构和隐式场景监督模块，提升策略性能和鲁棒性。
  3. ISS策略在MetaWorld和Adroit上取得SOTA性能，并在真实世界实验中展现出强大的泛化能力。

📝 摘要（中文）

本文提出了一种名为“隐式场景监督（ISS）策略”的3D视觉运动扩散策略，该策略基于DiT架构，并从点云观测中预测连续动作序列。为了解决现有基于视觉的模仿学习方法过度依赖物体外观而忽略底层3D场景结构的问题，我们引入了一个新颖的隐式场景监督模块，该模块鼓励模型生成与场景几何演化一致的输出，从而提高策略的性能和鲁棒性。ISS策略在单臂操作任务（MetaWorld）和灵巧手操作（Adroit）上均实现了最先进的性能。在真实世界的实验中，它也表现出强大的泛化性和鲁棒性。额外的消融研究表明，我们的方法可以有效地随着数据和参数进行扩展。代码和视频将会发布。

🔬 方法详解

问题定义：现有基于视觉的模仿学习方法在机器人操作任务中，过度依赖物体的视觉外观特征，而忽略了场景的3D几何结构信息。这导致模型难以泛化到新的场景或物体，并且训练效率较低，需要大量数据才能达到较好的性能。

核心思路：本文的核心思路是通过引入隐式场景监督，让模型学习到场景的3D几何结构信息，从而提高策略的泛化性和鲁棒性。具体来说，模型被鼓励生成与场景几何演化一致的动作序列，使得模型能够更好地理解场景的动态变化。

技术框架：ISS策略基于扩散模型（DiT）架构，整体流程如下：首先，从点云观测中提取场景的3D信息。然后，将这些信息输入到DiT模型中，模型预测一系列连续的动作。关键在于，在训练过程中，引入了一个隐式场景监督模块，该模块通过某种损失函数，约束模型生成的动作序列与场景的几何演化保持一致。

关键创新：最重要的技术创新点是隐式场景监督模块。与现有方法不同，该模块不直接监督模型的输出动作，而是通过约束动作序列与场景几何演化的一致性，间接地引导模型学习到场景的3D结构信息。这种隐式监督的方式更加灵活，并且能够更好地利用场景的先验知识。

关键设计：隐式场景监督模块的具体实现方式未知，但可以推测可能涉及到设计一个损失函数，该损失函数衡量模型生成的动作序列与场景几何演化之间的差异。例如，可以使用点云距离、表面法向量变化等指标来衡量这种差异。此外，DiT模型的具体参数设置和网络结构也可能需要进行调整，以适应机器人操作任务的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ISS策略在MetaWorld和Adroit数据集上取得了state-of-the-art的性能。此外，在真实世界的机器人操作实验中，ISS策略也展现出了强大的泛化能力和鲁棒性，表明其在实际应用中具有很大的潜力。消融实验也证明了该方法可以有效地随着数据和参数进行扩展。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如工业自动化、家庭服务机器人、医疗机器人等。通过提高机器人的泛化性和鲁棒性，使其能够更好地适应复杂多变的真实环境，从而实现更高效、更安全的操作。

📄 摘要（原文）

Vision-based imitation learning has enabled impressive robotic manipulation skills, but its reliance on object appearance while ignoring the underlying 3D scene structure leads to low training efficiency and poor generalization. To address these challenges, we introduce \emph{Implicit Scene Supervision (ISS) Policy}, a 3D visuomotor DiT-based diffusion policy that predicts sequences of continuous actions from point cloud observations. We extend DiT with a novel implicit scene supervision module that encourages the model to produce outputs consistent with the scene's geometric evolution, thereby improving the performance and robustness of the policy. Notably, ISS Policy achieves state-of-the-art performance on both single-arm manipulation tasks (MetaWorld) and dexterous hand manipulation (Adroit). In real-world experiments, it also demonstrates strong generalization and robustness. Additional ablation studies show that our method scales effectively with both data and parameters. Code and videos will be released.